大数据-hadoop
文章平均质量分 61
「已注销」
这个作者很懒,什么都没留下…
展开
-
hadoop笔记整理(-)
java环境搭建:查看本机java版本:[xiangkun@hadoop-senior01 ~]$ rpm -qa|grep java卸载本机java版本:[xiangkun@hadoop-senior01 ~]$ rpm -e --nodeps java-1.6.0-执行权限:[xiangkun@hadoop-senior01 softwares]$ chmod u+x ....原创 2017-07-17 18:09:47 · 370 阅读 · 0 评论 -
hadoop初级遇到的问题
1.secureCRT输出乱码问题secureCRT—->option—–>session options原创 2017-07-02 01:38:12 · 271 阅读 · 0 评论 -
第五部分:MapReduce Shuffle过程
Shuffle概念意思:洗牌或弄乱Collections.shuffle(List):随机地打乱参数list里的元素顺序MapReduce里Shuffle:描述着数据从map task输出到reduce task 输入的这段过程过程: -step 1: input InputFormat - 读取数据原创 2017-06-25 21:10:55 · 256 阅读 · 0 评论 -
第四部分:MapReduce 编程模型
MapReduce编程模型一种分布式计算模型,解决海量数据的计算问题MapReduce将整个并行计算过程抽象到两个函数 Map(映射):对一些独立元素组成的的列表的每一个元素进行指定的操作,可以高度并行。Reduce(化简):对一个列表的元素进行合并。一个简单的MapReduce程序只需要指定map(),reduce(),input和output,剩下的事由框架完成。MapReduce 将原创 2017-06-23 18:47:44 · 321 阅读 · 0 评论 -
配置SSH无密钥登陆
使用密码登录,每次都必须输入密码,非常麻烦。SSH还提供了公钥登录,可以省去输入密码的步骤。所谓”公钥登录”,就是用户将自己的公钥存储在远程主机上。登录的时候,远程主机会向发送一段随机字符串,用户用自己的私钥加密后,再发回来。远程主机用事先存储的公钥进行解密,如果成功,就证明用户是可信的,直接允许登录shell,不再要求密码。生成公钥/私钥对(连续按四个回车键) $ssh-keygen-t...原创 2017-07-04 14:29:29 · 366 阅读 · 0 评论 -
第二部分:分布式服务框架Zookeeper
what is Zookeeper?一个开源的分布式的,为分布式应用提供协调服务的Apache项目。提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务。设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。Zookeeper ServiceZookeeper数据结构数据结构和分等级的命名空间 Zo原创 2017-06-25 22:15:04 · 215 阅读 · 0 评论 -
集群机器时间同步
使用ntp配置内网中集群机器时间同步集群的时间要同步 找一台集群 时间服务器 所有的机器与这台机器时间进行定时的同步 比如,每日十分钟,同步一次时间step1: 检查时间服务器有没有装ntp[xiangkun@hadoop-senior01 hadoop-2.5.0]$ rpm -qa|grep ntpntp-4.2.6p5-1.el6.centos.x86原创 2017-07-05 12:20:40 · 459 阅读 · 0 评论 -
HDFS HA 架构分析
单点故障(single point of failure,SPOF)Hadoop2.0之前,在HDFS集群中 NameNode 存在单点故障。对于只有一个NameNode的集群,若NameNode机器出现故障,则整个集群将无法使用,直到NameNode 重新启动。NameNode主要在以下两个发面影响HDFS集群 -NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 -N原创 2017-07-05 20:55:34 · 503 阅读 · 0 评论 -
mapreduce 三种运行方式
mapreduce 三种运行方式Local (Standalone) Mode 本地模式Pseudo-Distributed Mode 尾分布式模式Fully-Distributed Mode 分布式模式第一种 Local Mode****Local (Standalone) Mode ****cd 到hadoop安装目录: $ mkdir input $ cp etc/hado原创 2017-07-02 00:43:58 · 661 阅读 · 0 评论