搭建高可用集群
namenode1 | namenode2 | datanode | zookeeper | ZKFC | journalNode | |
---|---|---|---|---|---|---|
BaseNode | Y | Y | Y | Y | Y | |
zknode1 | Y | Y | Y | Y | Y | |
zknode2 | Y | Y | Y |
1. 准备安装环境
-
上传hadoop,解压到/opt目录
2.vim /opt/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
#指定ZKFC用户的权限
export HDFS_ZKFC_USER=root
#指定yarn资源管理的权限
export YARN_RESOURCEMANAGR_USER=root
#指定yarn的节点管理的权限
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
3. 修改vim /opt/hadoop-3.1.2/etc/hadoop/core-site.xml
<configuration>
<property>
<!-- hdfs 地址,ha中是连接到nameservice -->
<name>fs.defaultFS</name>
<value>hdfs://bdp</value>
</property>
<property>
<!-- Hadoop临时目录 -->
<name>hadoop.tmp.dir</name>
<value>/opt/bdp/hadoop-3.1.2/data/tmp</value>
</property>
<!-- 故障转移 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>BaseNode:2181,zknode1:2181,zknode2:2181</value>
</property>
</configuration>
~
4 .修改 vim /opt/hadoop-3.1.2/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<value>bdp</value>
</property>
<property>
<!-- nameservice 包含哪些namenode,为各个namenode起名 -->
<name>dfs.ha.namenodes.bdp</name>
<value>bn,nn1</value>
</property>
<property>
<!-- 名为bn的namenode 的rpc地址和端口号,rpc用来和datanode通讯 -->
<name>dfs.namenode.rpc-address.bdp.bn</name>
<value>BaseNode:8020</value>
</property>
<property>
<!-- 名为nn1的namenode 的rpc地址和端口号,rpc用来和datanode通讯 -->
<name>dfs.namenode.rpc-address.bdp.nn1</name>
<value>zknode1:8020</value>
</property>
<property>
<!--名为bn的namenode 的http地址和端口号,web客户端 -->
<name>dfs.namenode.http-address.bdp.bn</name>
<value>BaseNode:50070</value>
</property>
<property>
<!--名为nn1的namenode 的http地址和端口号,web客户端 -->
<name>dfs.namenode.http-address.bdp.nn1</name>
<value>zknode1:50070</value>
</property>
<property>
<!-- namenode间用于共享编辑日志的journal节点列表 -->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://BaseNode:8485;zknode1:8485;zknode2:8485/ns1</value>
</property>
<property>
<!-- journalnode 上用于存放edits日志的目录 -->
<name>dfs.journalnode.edits.dir</name>
<value>/var/bdp/ha/qjn</value>
</property>
<property>
<!-- 客户端连接可用状态的NameNode所用的代理类 -->
<name>dfs.client.failover.proxy.provider.bdp</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!-- sshfence:防止namenode脑裂,当脑裂时,会自动通过ssh到old-active将其杀掉,将standby切换为active -->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 故障转移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
5. vim hadoop-3.1.2/etc/hadoop/workers
BaseNode
zknode1
zknode2
~
6. 修改环境变量vim /etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.2
export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
启动HA
启动zookeeper【全部主机】
- zkServer.sh start
- zkServer.sh status
启动JournalNode【全部主机】
- hdfs --daemon start journalnode
格式化namenode【仅Basenode】
- hdfs namenode -format
- hdfs --daemon start namenode
- 这里启动zknode1的备份namenode
- hdfs --daemon start journalnode
- 回到BaseNode
- hdfs zkfc -formatZK
- start-dfs.sh
大功告成 测试下吧
使用JPS查看下,进程必须和截图相同
打开网页看看,可以。
这里最开始有个问题,就是Basenode是standby,我也不知为什么。切换方式,就是重启下active的zkNode1。
hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start zkfc
[外链图片转存中…(img-cuEVJ4Lh-1639397778405)]
这里最开始有个问题,就是Basenode是standby,我也不知为什么。切换方式,就是重启下active的zkNode1。
hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start zkfc