Hadoop
带翅膀的猫
天天写BUG的软件开发工程师~
展开
-
Hadoop分布式文件系统HDFS的安装
部署环境:64位Centos6.5操作系统 Hadoop版本:64位Hadoop2.5.1 JDK版本:必须是1.7结构图: 由于我没有多的节点所以Hadoop1既是SecondaryNameNode和DataNode。1、启动四个节点,使用date命令查看四台机子的时间差是否在30秒内,这是必须一致的。如果不一致我们可以手动设置,我是选择和网络时间一致,使用命令:ntpda...原创 2018-02-10 18:08:43 · 4048 阅读 · 0 评论 -
从零开始搭建HDFS高可用(HA)环境(使用QJM)
背景      在Hadoop 1.x 中,Namenode是集群的单点故障,一旦Namenode出现故障,整个集群将不可用,重启或者开启一个新的Namenode才能够从中恢复。值得一提的是,Secondary Namenode并没有提供故障转移的能力。集原创 2018-07-24 23:12:21 · 3963 阅读 · 0 评论 -
MapReduce起步之搭建高可用(HA)ResourceManager
在上一篇文章从零开始搭建HDFS高可用(HA)环境(使用QJM)我们搭建了高可用的HDFS系统,接下来我们开始搭建Hadoop中的另外一个强大的组件—–MapReduceV2(或者说YARN)。 高可用YARN的搭建比搭建HDFS简单多了。架构如下: 1、我们要先安装好Zookpeer集群,这部分内容在从零开始搭建HDFS高可用(HA)环境(使用QJM)已经介绍。 2、配置hadoop配...原创 2018-07-26 22:06:26 · 4323 阅读 · 0 评论