hadoop3.1.1-ha高可用搭建

最新推荐文章于 2020-11-21 06:51:18 发布

浮躁-lh

最新推荐文章于 2020-11-21 06:51:18 发布

阅读量241

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_42214376/article/details/104042494

版权

大数据专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文介绍了如何基于Zookeeper集群搭建Hadoop 3.1.1的高可用环境，主要涉及四台主机的设置，其中两台作为NameNode的主备切换节点。

摘要由CSDN通过智能技术生成

hadoop HA 集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群我总共准备了四台主机node01，node02，node03，node04。其中 node01 和 node02 做 namenode 的主备切换

安装zookeeper集群

 # 目录   usr/hadoop-3.1.1/etc/hadoop

export JAVA_HOME=/usr/jdk1.8.0_11
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
#export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

# core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/ha</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    <property>
   	<name>ha.zookeeper.quorum</name>
   	<value>node02:2181,node03:2181,node04:2181</value>
    </property>
</configuration>

#hdfs-core.xml
<configuration>
    <property>
	<name>dfs.replication</name>
	<value>2</value>
    </property>
    <property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
    </property>
    <property>
	  <name>dfs.ha.namenodes.mycluster</name>
	  <value>nn1,nn2</value>
    </property>
    <property>
	  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
	  <value>node01:8020</value>
    </property>
    <property>
	  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
	  <value>node02:8020</value>
    </property>
    <property>
	  <name>dfs.namenode.http-address.mycluster.nn1</name>
	  <value>node01:9870</value>
    </property>
    <property>
	  <name>dfs.namenode.http-address.mycluster.nn2</name>
	  <value>node02:9870</value>
    </property>
    <property>
	  <name>dfs.namenode.shared.edits.dir</name>
	  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
    </property>
    <property>
	  <name>dfs.client.failover.proxy.provider.mycluster</name>
	  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
    	  <name>dfs.ha.fencing.methods</name>
      	  <value>sshfence</value>
    </property>
    <property>
	  <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
  	  <name>dfs.journalnode.edits.dir</name>
  	  <value>/var/hadoop/ha/journalnode</value>
    </property>
    <property>
   	<name>dfs.ha.automatic-failover.enabled</name>
   	<value>true</value>
    </property>	
</configuration>