![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
璀璨下的一点星辰
这个作者很懒,什么都没留下…
展开
-
hadoop编写MapReduce例子(附有代码)
开发环境:hadoop2.6.5, jdk1.8. ubuntu14系统 1.在本地写好代码(eclipse写的,当时没用maven,直接把jar引到程序里了)2.打成jar包(eclipse右键项目,点击export,选择jar包类型),打jar包的时候记得引入程序入口类,以及不加入代码依赖的jar包3.在集群的master节点上,使用hadoop fs -ls -R /查看h...原创 2018-10-24 14:32:46 · 3960 阅读 · 0 评论 -
Namenode和Secondarynamenode的关系
我需要了解hadoop集群中的两个进程secondary namenode和namenode的区别在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一。Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的。但其实不是,但是也是跟namenode有关系的。我们主要了解Secondary NameNode...原创 2018-12-17 09:29:05 · 1975 阅读 · 0 评论 -
hadoopHA模式
hadoop HA模式两个namenode将edit文件在其他节点上备份(基于zookeeper实现qjournal edits日志管理。实现日志分布式一致性)可用性和可靠性提高,但是可移植性降低使用线程池同步往日志管理中发送edit,多数台写入成功,即能保证能往里面写入不一定全部写成功使用ZKFC管理active namenode和 standby namenode 如果a...原创 2018-12-17 11:02:51 · 213 阅读 · 0 评论 -
hadoop HA集群搭建过程
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将编译好的...原创 2018-12-17 11:32:28 · 173 阅读 · 0 评论