![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
MR_Radish666
来自外地的漂流仔
展开
-
Hadoop集群之HDFS伪分布式安装 HA(二)
1、首先看看HA的对象是谁? 主要解决的是NameNode的HA2、Datanode不需要HA吗? DataNode的HA是NameNode的checksize机制(主动复制)来解决的3、NameNode为什么需要HA? NameNode的2大功能: ● 为客户端提供读写服务 ● 存放元数据:fsimage+edits fsimage是namenode格原创 2016-12-10 17:01:30 · 1600 阅读 · 0 评论 -
Hadoop集群之HDFS伪分布式安装 非HA(一)
1.准备条件: 机器:centOS6.5(x64) ,安装方式百度吧!!!如果你已经安装过CentOS了,也可以参考本文章。 镜像名:centOS-6.5-X86_64-minimal.iso(下载地址:http://download.chinaunix.net/download.php?id=41334&ResourceID=13440) JDK1.7下载地址:http://www原创 2016-12-10 15:44:17 · 1441 阅读 · 0 评论 -
MapReduce和Yarn的理解
MapReduce设计理念:移动计算,而不移动数据计算框架MR说明:分为4个步骤,按顺序执行: split(左浅黄色框):将单个的block进行切割,得到数据片段。map Task(左蓝色框):自己写的map程序,一个map程序就叫一个map任务,有多少个碎片,就有多少个map任务(Java线程),输入的数据就是键值对数据,输出的数据也是键值对。shuffle(洗牌,白色框):将map输出的原创 2016-12-10 17:19:06 · 3710 阅读 · 0 评论 -
hadoop集群之YARN`s ResourceManager HA(三)
如果有看蒙圈的地方,请看下HDFS HA 官方给出的方案如下配置目标: node1 node2 node3:3台ZooKeeper node1 node2:为2台ResourceManager首先配置node1,配置etc/hadoop/yarn-site.xml:<property> <name>yarn.resourcemanager.ha.enabled</name>原创 2016-12-10 17:29:20 · 6097 阅读 · 3 评论 -
Hadoop与Eclipse
将hadoop-eclipse-plugin-2.5.1.jar放入Eclipse的plugins目录下,然后重启Eclipse,使插件生效创建Map/Reduce项目 window——show view——Map/Reduce Location: window——open prespective——other——Map/Reduce(会出现在Project Explorer列表中) 在原创 2016-12-10 17:52:52 · 1198 阅读 · 0 评论 -
Hadoop权威指南+MR+Hive+HBase+Flume+ES+Lucene电子书下载
下载链接失效请留言。我会在第一时间更新Hadoop第四版英文版下载:链接: http://pan.baidu.com/s/1jILlEbO 密码: gp8f Hadoop第三版中文版下载:链接: http://pan.baidu.com/s/1slMZnFf 密码: zdy8 尚学堂Hadoop100集: 下载:链接: http://pan.baidu.com/s/1dFzHhnV 密码: 7原创 2016-12-10 19:00:03 · 4651 阅读 · 3 评论