hadoop集群环境搭建--双NameNode

hadoop配置文件修改

个人配置文件压缩包地址:
hadoop配置文件压缩包地址点此下载

tar -zxvf 你的压缩包路径/hadoop.tar.gz -C /usr/hadoop(你的hadoop路径)/etc/hadoop/

需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面，具体修改内容如下：

core-site.xml

<configuration>
<!-- 指定hdfs的nameservice为ns -->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://ns</value>
</property>
<!--指定hadoop数据临时存放目录-->
<property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/hadoop/hdfs/tmp</value>
</property>
<property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
</property>
<property>
 <name>fs.checkpoint.period</name>
 <value>60</value>
</property>
<property>
 <name>fs.checkpoint.size</name>
 <value>67108864</value>
</property>
<property>
     <name>ha.zookeeper.quorum</name>
     <value>zhw1:2181,zhw2:2181,zhw3:2181</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property> 
 <name>dfs.replication</name> 
 <value>2</value> 
 </property>
  <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
 <property>
  <name>dfs.nameservices</name>
  <value>ns</value> 
 </property>
 <!-- ns下面有两个NameNode，分别是zhw1，zhw2 -->
 <property>
   <name>dfs.ha.namenodes.ns</name>
   <value>zhw1,zhw2</value>
 </property>
 <property> 
 <name>dfs.namenode.name.dir</name> 
 <value>file:/usr/hadoop/hdfs/name</value> 
 <final>true</final> 
</property> 
 <property> 
 <name>dfs.datanode.data.dir</name> 
 <value>file:/usr/hadoop/hdfs/data</value> 
 <final>true</final> 
 </property> 
<property> 
 <name>dfs.namenode.secondary.http-address.ns.zhw1</name> 
 <value>zhw1:9001</value> 
</property> 
<property>
 <name>dfs.namenode.secondary.http-address.ns.zhw2</name>
 <value>zhw2:9001</value>
</property>
<property>
 <name>dfs.namenode.rpc-address.ns.zhw1</name>
 <value>zhw1:9000</value>
</property>
<property>
 <name>dfs.namenode.rpc-address.ns.zhw2</name>
 <value>zhw2:9000</value>
</property>

<property> 
 <name>dfs.webhdfs.enabled</name> 
 <value>true</value> 
</property> 
<property> 
 <name>dfs.permissions</name> 
 <value>false</value> 
</property>

<property>
 <name>dfs.support.append</name>
 <value>true</value>
</property>
 <!-- 开启NameNode故障时自动切换 -->
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
	<name>dfs.client.failover.proxy.provider.ns</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property> 
<!--配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
             <name>dfs.ha.fencing.methods</name>
             <value>shell(/bin/true)</value>
</property>
    <!-- 使用隔离机制时需要ssh免登陆 -->
<property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>~/.ssh/id_rsa</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
 <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://zhw1:8485;zhw2:8485;zhw3:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
 <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/data/install/hadoop-2.7.3/journal</value>
 </property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property> 
 <name>yarn.resourcemanager.address</name>
 <value>zhw1:18040</value>  
 </property>  
 <property> 
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>zhw1:18030</value>
 </property> 
 <property>   
 <name>yarn.resourcemanager.webapp.address</name>
 <value>zhw1:18088</value>
 </property> 
 <property> 
 <name>yarn.resourcemanager.resource-tracker.address</name> 
 <value>zhw1:18025</value> 
 </property>  
 <property> 
 <name>yarn.resourcemanager.admin.address</name> 
 <value>zhw1:18141</value>
 </property>
 <property> 
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>



</configuration>
                  

hadoop-env.sh添加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_281

启动命令

注意首次初始化启动命令和之后启动的命令是不同的，首次启动比较复杂，步骤不对的话就会报错，不过之后就好了

首次启动命令

1.首先启动各个节点的Zookeeper，在各个节点上执行以下命令：

bin/zkServer.sh start

2.初始化zookeeper

在zhw1机器上进行zookeeper的初始化，其本质工作是创建对应的zookeeper节点

bin/hdfs zkfc -formatZK

3.在每个journalnode节点用如下命令启动journalnode

三台机器执行以下命令启动journalNode，用于我们的元数据管理

sbin/hadoop-daemon.sh start journalnode

4.初始化journalNode

zhw1机器上准备初始化journalNode （如果不行就<4.初始化journalNode>中的上下两步调换顺序）

bin/hdfs namenode -initializeSharedEdits -force

zhw1机器上准备初始化namenode

hdfs namenode -format

5.启动namenode

bin/hdfs namenode

6.同步数据（备用节点）

在备用namenode节点执行以下命令，这个是把备用namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！

hdfs namenode -bootstrapStandby

7.结束

zhw2同步完数据后，紧接着在zhw1按Ctrl+C结束namenode进程，然后关闭所有Journalnode
三台操作

sbin/hadoop-daemon.sh stop journalnode

最后

日常启停命令：

sbin/start-all.sh
sbin/stop-all.sh

如果第二台备用namenode出现故障自动消失，请重新整一次启动过程 我个人是删掉了两台里的name与data目录并重新按照启动顺序执行

第一种与第二种方法均可，上面第一种较为方便

第二种首次启动方法
第一步：初始化zookeeper
在zhw1机器上进行zookeeper的初始化，其本质工作是创建对应的zookeeper节点

[root@zhw1 hadoop]$ bin/hdfs zkfc –formatZK

第二步：启动journalNode
三台机器执行以下命令启动journalNode，用于我们的元数据管理

sbin/hadoop-daemon.sh start journalnode

第三步：在主namenode节点格式化namenode和journalnode目录

hdfs namenode -format ns

第四步：启动namenode
zhw1机器上启动namenode

[root@zhw1 hadoop]$ sbin/hadoop-daemon.sh start namenode

zhw2机器上启动namenode
在备用namenode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！

[root@zhw2 hadoop]$ bin/hdfs namenode -bootstrapStandby
[root@zhw2 hadoop]$ sbin/hadoop-daemon.sh start namenode

第五步：启动所有节点的datanode进程
在zhw1机器上启动所有节点的datanode进程

[root@zhw1 hadoop]$ sbin/hadoop-daemons.sh start datanode

第六步：启动zkfc
在zhw1机器上面启动zkfc进程

[root@zhw1 hadoop]$ sbin/hadoop-daemon.sh start zkfc

在zhw2机器上面启动zkfc进程

[root@zhw2 hadoop]$ sbin/hadoop-daemon.sh start zkfc

第八步：启动jobhsitory
zhw1节点启动jobhistoryserver

[root@zhw1 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver