安装与配置Hadoop

下载hadoop-2.7.6.tar.gz

Index of /dist/hadoop/core/hadoop-2.7.6

修改配置文件

进入“/opt/programs/hadoop-2.7.6/etc/hadoop”目录,依次修改配置文件：

core-site.xml

修改标签<configuration>内容为：
<configuration>
        <!--当多个HDFS集群工作时，指定集群的名称，但集群的名称不能重复-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns</value>
        </property>
        <!--用于NameNode,DataNode,JournalNode等存放数据的公共目录，也可以分开指定-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/programs/hadoop-2.7.6/tmp</value>
        </property>
        <!-- 指定zookeeper集群的地址和端口 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>host01:2181,host02:2182,host03:2181</value>
        </property>
</configuration>

 hdfs-site.xml

<configuration>
        <!-- 指定DataNode存储block的副本数 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <!--HDFS集群的别称，需要和core-site.xml中保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>ns</value>
        </property>
        <!-- 指定ns集群下的NameNode机器 -->
        <property>
                <name>dfs.ha.namenodes.ns</name>
                <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns.nn1</name>
                <value>host01:9000</value>
        </property>
        <!-- nn1的HTTP地址 -->
        <property>
                <name>dfs.namenode.http-address.ns.nn1</name>
                <value>host01:50070</value>
        </property>
        <!-- nn2的RPC地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns.nn2</name>
                <value>host02:9000</value>
        </property>
        <!-- nn2的HTTP地址 -->
        <property>
                <name>dfs.namenode.http-address.ns.nn2</name>
                <value>host02:50070</value>
        </property>
        <!-- 指定nn1和nn2的元数据在JournlNode上的存储位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://host01:8485;host02:8485;host03:8485/ns</value>
        </property>
        <!-- 指定JournlNode本地磁盘的存储位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/programs/hadoop-2.7.6/journal/data</value>
        </property>

        <!-- 配置ns集群的NameNode失败时实现自动切换 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置client的failover代理 -->
        <property>
                <name>dfs.client.failover.proxy.provider.ns</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔离机制，已使用SSH方式进行NameNode的切换 -->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!-- 当故障切换时，SSH免密码登陆 -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- connect-timeout链接超时-->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
</configuration>

 mapred-site.xml

先将 mapred-site.xml.template重命名为 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml 

<configuration>
        <!--指定MaoReduce在上YARN运行 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

 yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
        <!--启动HA -->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!-- 标识集群 -->
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>yrc</value>
        </property>
        <!--指定两个ResourceManager的名称 -->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <!-- 指定rm1的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>host01</value>
        </property>
        <!-- 指定em2的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>host02</value>
        </property>
        <!-- 指定zookeeper集群 -->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>host01:2181;host02:2181;host03:2181</value>
        </property>
        <!-- 启动NodeManger 时，server的加载方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

 slaves

#将localhost修改为：
host01
host02
host03

 hadoop-env.sh、mapred-env.sh、yarn-env.sh

#在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中均加入JAVA_HOME环境变量
export JAVA_HOME=/opt/programs/jdk1.8.0_211

Hadoop

 mapred

yarn

 将host01的整个hadoop安装目录远程复制到其他两个节点

scp -r /opt/programs/hadoop-2.7.6 root@host02:/opt/programs/
scp -r /opt/programs/hadoop-2.7.6 root@host03:/opt/programs/

在三个节点上分别执行以下命令

修改文件“/etc/profile”,配置hadoop环境变量

#在文末加入：
export HADOOP_HOME=/opt/programs/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新文件 

source /etc/profile

测试与启动hadoop

第一次启动，需要格式化NameNode,格式化NameNode需要先启动journalnode（以后就不用了）

#3表示在三个节点上都要执行

#3 启动journalnode
hadoop-daemon.sh start journalnode
#格式化NameNode(三个节点均已开机，并启动zookeeper和journalnode)
hdfs namenode -format
#进入hadoop目录下，将tmp文件远程复制到host02Hadoop目录下
cd /opt/programs/hadoop-2.7.6
scp -r tmp/ root@host02:/opt/programs/hadoop-2.7.6
#格式化ZKFC（仅在host01执行一次）
hdfs zkfc -formatZK
#启动HDFS和YARN（host01）
start-dfs.sh
start-yarn.sh
#3 查看启动进程
jps

启动journalnode

 namenode初始化成功

 远程复制成功

 格式化ZKFC

 启动hdfs,yarn

 jps

 通过浏览器查看YARN运行状态

http://192.168.112.200:8088/cluser

 通过浏览器检测Hadoop运行状态

http://192.168.112.200:50070/

 

 在host01节点上挂掉“active”状态的NameNode

kill -9 <进程号>

 

 host02上的备用NameNode进入活动状态

 手动启动刚挂掉的NameNode

hadoop-daemon.sh start namenode

 

 双NameNode的Hadoop分布式集群搭建成功！