分布式文件系统（2)： Hadoop HA With QJM

一分钟让你知道Hadoop是什么

Hadoop中的七大节点的作用（HA with QJM）

按照表格搭建群集

准备环境：
Centos7.4
JDK1.8下载
Zookeeper下载
Hadoop2.4下载
1、编辑hosts文件（四台都要配置）
[root@node01 /]# vim /etc/hosts
192.168.200.10 node01
192.168.200.20 node02
192.168.200.30 node03
192.168.200.40 node04
2、配置SSH免密码登录（实现从四台中任何一台都可以无密码远程登录）
[root@node01 /]# ssh-keygen -t rsa
[root@node01 /]# ssh-copy-id -i root@node01
[root@node01 /]# ssh-copy-id -i root@node02
[root@node01 /]# ssh-copy-id -i root@node03
[root@node01 /]# ssh-copy-id -i root@node04
[root@node01 ~]# scp -r ./.ssh/ root@node01:/root/
[root@node01 ~]# scp -r ./.ssh/ root@node02:/root/
[root@node01 ~]# scp -r ./.ssh/ root@node03:/root/
[root@node01 ~]# scp -r ./.ssh/ root@node04:/root/
3、配置JDK（四台都要配置）
[root@node01 /]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/zookeeper/bin

[root@node01 /]# source /etc/profile.d/java.sh
4、配置hadoop（四台都要配置）
1）配置hadoop-env.sh文件
[root@node01 hadoop]# vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

2）配置hdfs-site.xml 文件
[root@node01 hadoop]# vim hdfs-site.xml

<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>hou</value>	hadoop集群的名字
</property>
<property>
  <name>dfs.ha.namenodes.hou</name>
  <value>nn1,nn2</value>	namenode主机名
</property>
<property>
  <name>dfs.namenode.rpc-address.hou.nn1</name>
  <value>node01:8020</value>	第一个namenode的IP地址
</property>
<property>
  <name>dfs.namenode.rpc-address.hou.nn2</name>
  <value>node02:8020</value>	第二个namenode的IP地址
</property>
<property>
  <name>dfs.namenode.http-address.hou.nn1</name>
  <value>node01:9870</value>	第一个namenode的http地址和端口号
</property>
<property>
  <name>dfs.namenode.http-address.hou.nn2</name>
  <value>node02:9870</value>	第二个namenode的http地址和端口号
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node02:8485;node03:8485;node04:8485/hou</value>	JN的IP地址
</property>
<property>
  <name>dfs.client.failover.proxy.provider.hou</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>	sshd私钥地址
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/hou/data</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>
</configuration>

3）配置core-site.xml 文件
[root@node01 hadoop]# vim ./core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hou</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node01:2181,node02:2181,node03:2181</value>	zookeepip地址
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop2</value>	edits文件的位置
</property>
</configuration>

4）配置slaves文件
[root@node01 hadoop]# vim ./slaves （database的IP地址）
node02
node03
node04
5）配置mapred-site.xml文件
[root@node01 hadoop]# mv ./mapred-site.xml.template ./mapred-site.xml
[root@node01 hadoop]# vim ./mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6）配置yarn-site.xml文件
[root@node01 hadoop]# vim ./yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

7）启动reducemanager
[root@node01 sbin]# ./start-yarn.sh
5、配置（node01,node02,node03）
[root@node01 conf]# cp ./zoo_sample.cfg ./zoo.cfg
[root@node01 conf]# vim ./zoo.cfg

dataDir=/opt/zookeeper
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

[root@node01 /]# mkidr /opt/zookeeper/
[root@node01 /]# vim /opt/zookeeper/myid
1
[root@node01 /]# zkServer.sh start
6、启动journalnode（node02,node03,node04）
[root@node02 ~]# cd /usr/local/hadoop-2.4.0/sbin/
[root@node02 sbin]# ./hadoop-daemon.sh start journalnode
7、启动namenode
[root@node01 /]# cd /usr/local/hadoop-2.4.0/bin/
[root@node01 bin]# ./hdfs namenode -format
[root@node01 /]# cd /usr/local/hadoop-2.4.0/sbin/
[root@node01 sbin]# ./hadoop-daemon.sh start namenode
[root@node02 /]# cd /usr/local/hadoop-2.4.0/bin/
[root@node02 bin]# ./hdfs namenode -bootstrapStandby
8、启动群集。
1）初始化zkfc
[root@node01 sbin]# ./stop-dfs.sh
[root@node01 bin]# ./hdfs zkfc -formatZK
2)启动集群
[root@node01 sbin]# ./start-dfs.sh
[root@node01 sbin]# ./start-yarn.sh
3）上传测试数据
[root@node01 bin]# ./hdfs dfs -mkdir -p /usr/file
[root@node01 bin]# ./hdfs dfs -put /root/jdk-8u181-linux-x64.tar.gz /usr/file
4）查看namenode节点的状态
[root@node01 bin]# ./hdfs haadmin -getServiceState nn1
9、查看四个节点的状态
1、命令行查看

2、网页查询
3、上传文件查询