Hadoop HA搭建

特别注意：原来装了hadoop-2.7.6之后，现在上传hadoop-2.7.7，把原来hadoop-2.7.6删掉之后，应该重启节点，否则即使改了配置，启动journalnode进程时：[hadoop@hadoop02 ~]$ hadoop-daemon.sh start journalnode；会出现-bash: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: No such file or directory ，还是用的hadoop-2.7.6的

三节点：Hadoop02，Hadoop03，Hadoop04
具体步骤：

1、 修改主机名
2、 修改 IP 地址
3、 添加主机名和 IP 映射
4、 添加普通用户 hadoop 用户并配置 sudoer 权限
5、 设置系统启动级别
6、 关闭防火墙/关闭 Selinux
7、 安装 JDK
 两种准备方式：
    1、 每个节点都单独设置，这样比较麻烦。线上环境可以编写脚本实现
    2、 虚拟机环境可是在做完以上 7 步之后，就进行克隆
    3、 然后接着再给你的集群配置 SSH 免密登陆和搭建时间同步服务
8、 配置 SSH 免密登录
9、 同步服务器时间

1、 安装 Zookeeper 集群在此略过
2、 安装 hadoop 集群
1、 上传安装包 hadoop-2.6.5-centos-6.7.tar.gz
2、 解压到对应的安装目录[hadoop@hadoop02 ~]# tar-zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps/
3、 修改配置
1、 修改 hadoo-env.sh
修改一行
export JAVA_HOME= /usr/local/jdk1.8.0_73
2、 修改 core-site.xml
<configuration>
<!-- 指定 hdfs 的 nameservice 为 myha01 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://myha01/</value>
</property>
<!-- 指定 hadoop 工作目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>
<!-- 指定 zookeeper 集群访问地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>
</property>
</configuration>
3、 修改 hdfs-site.xml
<configuration>
<!-- 指定副本数 -->
<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
<!--指定 hdfs 的 nameservice 为 myha01，需要和 core-site.xml 中保持一致-->
<property>
 <name>dfs.nameservices</name>
 <value>myha01</value>
</property>
<!-- myha01 下面有两个 NameNode，分别是 nn1，nn2 -->
<property>
 <name>dfs.ha.namenodes.myha01</name>
 <value>nn1,nn2</value>
</property>
<!-- nn1 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.myha01.nn1</name>
 <value>hadoop02:9000</value>
</property>
<!-- nn1 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.myha01.nn1</name>
 <value>hadoop02:50070</value>
</property>
<!-- nn2 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.myha01.nn2</name>
 <value>hadoop03:9000</value>
</property>
<!-- nn2 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.myha01.nn2</name>
 <value>hadoop03:50070</value>
</property>
<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 -->
<property>
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop02:8485;hadoop03:8485;hadoop04:8485/myha01</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/data/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行-->
<property>
 <name>dfs.client.failover.proxy.provider.myha01</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>
 sshfence
 shell(/bin/true)
 </value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
</property>
</configuration>
4、 修改 mapred-site.xml
<configuration>
<!-- 指定 mr 框架为 yarn 方式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
<!-- 设置 mapreduce 的历史服务器地址和端口号 -->
<property> 
<name>mapreduce.jobhistory.address</name> 
<value>hadoop02:10020</value>
</property> 
<!-- mapreduce 历史服务器的 web 访问地址 -->
<property> 
<name>mapreduce.jobhistory.webapp.address</name> 
<value>hadoop02:19888</value> 
</property>
</configuration>
5、 修改 yarn-site.xml
<configuration>
<!-- 开启 RM 高可用 -->
<property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
</property>
<!-- 指定 RM 的 cluster id -->
<property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>yrc</value>
</property>
<!-- 指定 RM 的名字 -->
<property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
</property>
<!-- 分别指定 RM 的地址 -->
<property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop04</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop05</value>
</property>
<!-- 指定 zk 集群地址 -->
<property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>
</property>
<!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<!-- 开启 YARN 集群的日志聚合功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- YARN 集群的聚合日志最长保留时长 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
</property>
<!-- 启用自动恢复 -->
<property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>
<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
<property>
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateSt
ore</value>
</property>
</configuration>
6、 修改 slaves
vi slaves
添加 datanode 的节点地址：
hadoop02
hadoop03
hadoop04
hadoop05
7、 分发安装包到其他机器
scp -r hadoop-2.7.7 hadoop@hadoop03:$PWD
scp -r hadoop-2.7.7 hadoop@hadoop04:$PWD
8、 并分别配置环境变量
vi ~/.bashrc
添加两行：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出

4、 集群初始化操作（记住：严格按照以下步骤执行）

1、 先启动 zookeeper 集群
启动：zkServer.sh start
检查启动是否正常：zkServer.sh status
2、 分别在每个 zookeeper（也就是规划的三个 journalnode 节点，不一定跟 zookeeper
节点一样）节点上启动 journalnode 进程
[hadoop@hadoop02 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop03 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop04 ~]$ hadoop-daemon.sh start journalnode
然后用 jps 命令查看是否各个 datanode 节点上都启动了 journalnode 进程
如果报错，根据错误提示改进
3、 在第一个 namenode 上执行格式化操作
[hadoop@hadoop02 ~]$ hadoop namenode -format
然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息
把他拷贝的第二个 namenode 的相同目录下
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
这个目录下，千万记住：两个 namenode 节点该目录中的数据结构是一致的
[hadoop@hadoop02 ~]$ scp -r ~/data/hadoopdata/ hadoop03:~/data
或者也可以在另一个 namenode 上执行：hadoop namenode -bootstrapStandby
4、 格式化 ZKFC
[hadoop@hadoop02 ~]$ hdfs zkfc -formatZK
在第一台机器上即可
5、 启动 HDFS
[hadoop@hadoop02 ~]$ start-dfs.sh
查看各节点进程是否启动正常：依次为 2345 四台机器的进程访问 
web 页面 http://hadoop02:50070访问 
web 页面：http://hadoop03:50070
6、 启动 YARN
[hadoop@hadoop04 ~]$ start-yarn.sh
在主备 resourcemanager 中随便选择一台进行启动，正常启动之后，检查各节点的进程：
若备用节点的 resourcemanager 没有启动起来，则手动启动起来[hadoop@hadoop04 ~]$ yarn-daemon.sh start resourcemanager
之后打开浏览器访问页面：http://hadoop04:8088
7、 查看各主节点的状态
HDFS:
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
YARN:
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
8、 启动 mapreduce 任务历史服务器
[hadoop@hadoop02 ~]$ mr-jobhistory-daemon.sh start historyserver
按照配置文件配置的历史服务器的 web 访问地址去访问：
http://hadoop02:19888