安装hadoop - CentOS6大数据套件HA安装（3）

环境变量参考【CentOS6-大数据套件HA安装（1）统一环境配置)】

此处所有机器防火墙关闭，实际可根据需要调整。软件包统一在/usr/local/soft 目录，安装目录为：/hadoop

安装hadoop

1. 解压

tar -xzvf /usr/local/soft/hadoop-2.7.6.tar.gz -C /hadoop/

1. 创建tmp、journal目录

mkdir /hadoop/hadoop-2.7.6/tmp
mkdir -p /hadoop/hadoop-2.7.6/dfs/name 
mkdir -p /hadoop/hadoop-2.7.6/dfs/data 
mkdir /hadoop/hadoop-2.7.6/journal

1. 配置 hadoop-env.sh

 vi hadoop-2.7.6/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

1. 配置 yarn-env.sh

 vi hadoop-2.7.6/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

1. 配置 core-site.xml

 vi hadoop-2.7.6/etc/hadoop/core-site.xml

<configuration>
    <!--
    <property>
        <name>fs.default.name</name>
        <value>hdfs://manager202:9000</value>
    </property>
    -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.7.6/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
    </property>
    <!--
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property
    <property>
        <name>hadoop.proxyuser.hduser.hosts</name>
        <value>*</value>
        </property>
    <property>
        <name>hadoop.proxyuser.hduser.groups</name>
        <value>*</value>
    </property>
    -->
</configuration>

1. 配置 hdfs-site.xml

 vi hadoop-2.7.6/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/hadoop-2.7.6/dfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/hadoop-2.7.6/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>manager202:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>manager202:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>manager203:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>manager203:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/hadoop/hadoop-2.7.6/journal</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!-- 使用隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
</configuration>

1. 配置 mapred-site.xml

 vi hadoop-2.7.6/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

1. 配置 yarn-site.xml

 vi hadoop-2.7.6/etc/hadoop/yarn-site.xml

<configuration>
    <!-- 开启RM高可用 -->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>manager202</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>manager203</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定可用内存和CPU -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>12288</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>6</value>
    </property>
</configuration>

1. 配置 slaves

vi hadoop-2.7.6/etc/hadoop/slaves

hadoop101
hadoop102
hadoop103

 

1. 配置pid存储位置

# 默认会放在tmp目录，但是超过10天以后会删除，导致调用stop脚本时无法关闭的问题

vi hadoop-daemon.sh
HADOOP_PID_DIR=/data/hadoop/pid

vi yarn-daemon.sh
YARN_PID_DIR=/data/hadoop/pid

vi mr-jobhistory-daemon.sh
HADOOP_MAPRED_PID_DIR=/data/hadoop/pid

1. 向各节点分发Hadoop程序

scp -r hadoop-2.7.6 hadoop@manager203:/hadoop/
scp -r hadoop-2.7.6 hadoop@hadoop101:/hadoop/
scp -r hadoop-2.7.6 hadoop@hadoop102:/hadoop/
scp -r hadoop-2.7.6 hadoop@hadoop103:/hadoop/

---

启动或者初始化必须确认先启动了zookeeper

初始化hadoop

1. 启动 journalnode （执行一次）

# 分别在hadoop101、hadoop102、hadoop103上执行
./hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode

1. 格式化 HDFS （执行一次）

# 在manager202上执行命令:
./hadoop-2.7.6/bin/hdfs namenode -format

# 然后将 /hadoop/hadoop-2.7.6/dfs/name/* 拷贝到manager203的/hadoop/hadoop-2.7.6/dfs/name/下

scp -r hadoop-2.7.6/dfs/name/* hadoop@manager203:/hadoop/hadoop-2.7.6/dfs/name/

##也可以这样，建议hdfs namenode -bootstrapStandby

1. 格式化 ZKFC （执行一次）

# 在manager202上执行
 ./hadoop-2.7.6/bin/hdfs zkfc -formatZK

启动

1. 启动 HDFS

# 在manager202上执行
./hadoop-2.7.6/sbin/start-dfs.sh

1. 启动 YARN

# 在manager202上执行
./hadoop-2.7.6/sbin/start-yarn.sh
# manager203上执行
./hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager

1. 测试集群工作状态的一些指令

# 查看hdfs的各节点状态信息
./hadoop-2.7.6/bin/hdfs dfsadmin -report
# 查看namenode高可用
./hadoop-2.7.6/bin/hdfs haadmin -getServiceState nn1 
# 查看ResourceManager高可用
./hadoop-2.7.6/bin/yarn rmadmin –getServiceState rm1 
# 单独启动一个namenode进程
./hadoop-2.7.6/sbin/hadoop-daemon.sh start namenode
# 单独启动一个zkfc进程
./hadoop-2.7.6/hadoop-daemon.sh start zkfc