0.4 Hadoop-HA 搭建

搭建Hadoop-HA

配置

传输 解压 拷贝

--语法:
--解压hadooptar包
tar -zxf hadoop-2.6.5.tar.gz
--移动解压文件目录 
mv hadoop-2.6.5 /opt/sxt/

修改.sh配置文件

--进入hadoop配置文件目录
cd /opt/sxt/hadoop-2.6.5/etc/hadoop/

修改.sh文件的JAVA_HOME配置

vim hadoop-env.sh 
vim mapred-env.sh
vim yarn-env.sh

--每个文件的修改项
JAVA_HOME=/usr/java/jdk1.7.0_67

修改.xml配置
修改core-site.xml

--语法:
vim core-site.xml

--配置示例:
<property>
<name>fs.defaultFS</name>
<value>hdfs://shsxt</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>bd1301:2181,bd1302:2181,bd1303:2181</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/ha</value>
</property>

修改hdfs-site.xml

--语法:
vim hdfs-site.xml

--配置示例:
<property>
<name>dfs.nameservices</name>
<value>shsxt</value>
</property>
<property>
<name>dfs.ha.namenodes.shsxt</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.shsxt.nn1</name>
<value>bd1301:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.shsxt.nn2</name>
<value>bd1302:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.shsxt.nn1</name>
<value>bd1301:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.shsxt.nn2</name>
<value>bd1302:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bd1301:8485;bd1302:8485;bd1303:8485/shsxt</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.shsxt</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
<value>shell(true)</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

修改slaves

--语法:
vim slaves

--配置示例:
bd1301
bd1302
bd1303

分别拷贝zookeeper目录到主机2和主机3

--语法:
scp -r root@bd1301:/opt/sxt/hadoop-2.6.5/ /opt/sxt/

修改环境变量

--语法:
vim /etc/profile

配置示例:

分别拷贝环境变量到主机2和主机3

--语法:
scp -r root@bd1301:/etc/profile /etc/profile

分别加载3台主机环境变量

--语法:
source /etc/profile

启动及测试

分别启动3台主机JournalNode线程

--语法:
hadoop-daemon.sh start journalnode

查看java进程

--语法:
jps

格式化主NameNode

--语法:
hdfs namenode -format

启动主节点namenode

--语法:
hadoop-daemon.sh start namenode

启动备用NameNode节点(主机2)

--语法:
hdfs namenode -bootstrapStandby

启动3台主机的Zookeeper

--语法:
zkServer.sh start

查看zookeeper服务状态

--语法:
zkServer.sh status

格式化ZKFC

--语法:
hdfs zkfc -formatZK

开启hadoop

--语法:
start-dfs.sh