目录
hadoop3.2.1 集群安装
一：准备环境：
1.配置Java环境
[root@m1 ~]# java -version
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)
Java环境变量配置
[root@m1 ~]# cat /etc/profile
export JAVA_HOME=/opt/software/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2.打通ssh
ssh-keygen -t rsa
将公钥拷贝到其他节点，包括自己
ssh-coyp-id m1 ssh-coyp-id m2 ssh-coyp-id s1 ssh-coyp-id s2 ssh-coyp-id s3
3.修改hosts文件
192.168.137.121 m1
192.168.137.122 m2
192.168.137.123 s1
192.168.137.124 s2
192.168.137.125 s3
4.安装zookeeper集群
详见我的博客：实时数仓、基于Flink1.11的SQL构建实时数仓 之 zookeeper集群搭建
5.配置时间同步（略）
6.关闭防火墙（略）
二：上传安装包解压修改配置文件
配置 core-site.xml
安装包路径：/opt/hadoop/hadoop-3.2.1
进入：/opt/hadoop/hadoop-3.2.1/etc/hadoop
<configuration>
<!-- HDFS主入口，mycluster仅是作为集群的逻辑名称，可随意更改但务必与hdfs-site.xml中dfs.nameservices值保持一致-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 默认的hadoop.tmp.dir指向的是/tmp目录，将导致namenode与datanode数据全都保存在易失目录中，此处进行修改-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/hadoop/tmp</value>
</property>
<!-- 用户角色配置，不配置此项会导致web页面报错-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<!-- zookeeper集群地址，这里只配置了单台，如是集群以逗号进行分隔-->
<property>
<name>ha.zookeeper.quorum</name>
<value>s1:2181,s2:2181,s3:2181</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>m1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>m1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>m2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>m2:50070</value>
</property>
<!-- journalnode主机地址，最少三台，默认端口8485 指定NameNode的元数据在JournalNode上的存放位置 格式为 qjournal://jn1:port;jn2:port;jn3:port/${nameservices} -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://s1:8485;s2:8485;s3:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/data/dfs/journalData</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，Failover后防止停掉的Namenode启动，造成两个服务,多个机制用换行分割，即每个机制暂用一行 注意这里有坑，直接复制过去之后sshfence前面带有csdn的格式符号会导致两个namenode都是standby-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆，注意换成自己的用户名 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/data/dfs/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/data/dfs/dn</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
配置hadoop-env.sh
设置 export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
在文件末尾添加：
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
配置：mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>m1:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>m1:19888</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/*,/opt/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
配置 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>m1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>m2</value>
</property>
<!-- RM对外暴露的web http地址，用户可通过该地址在浏览器中查看集群信息 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>m1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>m2:8088</value>
</property>
<!-- 指定zookeeper集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>s1:2181,s2:2181,s3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>/opt/hadoop/hadoop-3.2.1/etc/hadoop:/opt/hadoop/hadoop-3.2.1/share/hadoop/common/lib/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/common/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/hdfs:/opt/hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/hdfs/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/yarn:/opt/hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/*:/opt/hadoop/hadoop-3.2.1/share/hadoop/yarn/*</value>
</property>
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
<description>
The maximum number of application master execution attempts.
</description>
</property>
</configuration>
配置datanode节点编辑 works
[root@m1 hadoop]# cat workers
s1
s2
s3
把安装包分发到所有节点：
scp -r /opt/hadoop/hadoop-3.2.1 m2:/opt/hadoop
scp -r /opt/hadoop/hadoop-3.2.1 s1:/opt/hadoop
scp -r /opt/hadoop/hadoop-3.2.1 s2:/opt/hadoop
scp -r /opt/hadoop/hadoop-3.2.1 s3:/opt/hadoop
所有节点配置环境变量：
修改/etc/profile
export JAVA_HOME=/opt/software/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/home/ctl
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
三：初始化集群
1.在所有journalnode节点上启动journalnode(本例中是s1 s2 s3)：hdfs --daemon start journalnode。
2.在namenode(随便哪一个都行)上执行格式化：hdfs namenode -format，出现successfully formated即为执行成功。如下截图，截图内容仅供参考，由于是环境弄完之后才写的博客，截图是别人的博客里面的。
3.启动刚刚格式化的namenode：hdfs --daemon start namenode。
4.在另外一个namenode节点上同步信息：hdfs namenode -bootstrapStandby，出现以下信息即为同步成功。
5.格式化zookeeper节点：hdfs zkfc -formatZK，出现以下信息即为执行成功。
启动HDFS集群：start-dfs.sh。
验证
分别访问两个namenode的web页面 http://m2:50070/，可以查看到一个为active一个为standby。
参考博客：https://blog.csdn.net/u012760435/article/details/104401268
1909
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
