Hadoop2.7.6搭建HA高可用集群（图文详解）

目录

环境要求，hadoop2.7.6 zookeeper安装完成

1 修改Hadoop-env.sh

2 修改core-site.xml

3 修改hdfs-site.xml

4 修改yarn-site.xml

5 mapred-site.xml

6 slave 

7 分发其他两台虚拟机

8 启动journalnode进程

9 格式化namenode

10 拷贝分发

11 启动ZOOKEEPER，

12 格式化ZKFC

13 启动Hadoop集群

14启动浏览器端查看UI界面

---

环境要求，hadoop2.7.6 zookeeper安装完成

(13条消息) Linux安装Hadoop（图文详解）_Ricardo · M · YUAN的博客-CSDN博客

(13条消息) Linux安装zookeeper_Ricardo · M · YUAN的博客-CSDN博客

1 修改hadoop-env.sh

进入自己的Hadoop文件夹里  /etc/hadoop里，在这个文件夹里有很多配置文件，我们下面的配置都是围绕着这个文件夹的文件进行配置

​

把自己的jdk路径放入进去。

 2 修改core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/export/servers/hadoop/tmp</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>node01:2181,node02:2181,node03:2181</value>
</property>

​

注意这个路径，需要跟自己的目录对的上，就比如我的一级目录是root，所以我得把root加上

3 修改hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/export/data/hadoop/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/export/data/hadoop/datanode</value>
</property>

<property>
    <name>dfs.nameservices</name>
    <value>master</value>
</property>
<property>
    <name>dfs.ha.namenodes.master</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.master.nn1</name>
    <value>node01:9000</value>
</property>

<property>
    <name>dfs.namenode.rpc-address.master.nn2</name>
    <value>node02:9000</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn1</name>
    <value>node01:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn2</name>
    <value>node02:50070</value>
</property>

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/master</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/root/export/data/hadoop/journaldata</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.master</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>

<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
 

​

 注意这个路径，需要跟自己的目录对的上，就比如我的一级目录是root，所以我得把root加上

4 修改yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>master</value>
</property>

<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node01</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node02</value>
</property>

<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node01:2181,node02:2181,node03:2181</value>
</property>

<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>
<property>
      <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
      <value>true</value>
</property>

<property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
 

 这里没有需要注意的问题，复制粘贴就行。

5 修改mapred-site.xml

<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>

这里也是粘贴就行

6 修改slave 

node01
node02
node03
（这里是自己的三台主机名）

7 分发其他两台虚拟机

scp -r hadoop/ node02:$PWD

scp -r hadoop/ node03:$PWD

scp -r /etc/profile node02:/etc/profile

scp -r /etc/profile node03:/etc/profile

分发配置文件之后，记得去其他两台机子上。

source /etc/profile

刷新一下环境变量

8 启动journalnode进程

三台虚拟机都执行

hadoop-daemon.sh start journalnode

Jps查看一下进程是否启动

9 格式化namenode

hadoop namenode -format

成功会有successfully字样出来

10 拷贝分发文件

将这个生成的文件，拷贝到node02里

11 启动ZOOKEEPER，

三台机器都启动ZOOKEEPER，都执行这个命令

zkServer.sh start

12 格式化ZKFC

hdfs zkfc -formatZK

成功会有successfully字样出来

13 启动Hadoop集群

Start-all.sh

Jps查看进程号

Node01 8个进程

Node02 7 个进程

14启动浏览器端查看UI界面

node01

 

 node02

 

 至此，Hadoop2.7.6HA高可用集群搭建完毕。

出现问题第一时间查看日志，解决不了就直接把整个Hadoop全删了，重新跟着教程再来一次，绝对没问题。