hadoop(3):搭建hadoop-HA

鸿12321

已于 2024-03-10 03:34:48 修改

阅读量839

点赞数 23

分类专栏： Hadoop 文章标签： hadoop 大数据分布式

于 2024-03-10 02:35:42 首次发布

本文链接：https://blog.csdn.net/weixin_45880765/article/details/136549250

版权

Hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一、HDFS环境配置需求

服务器数量：最少需要3台服务器(最低配，因为Zookeeper和JournalNode最少需要3个节点才能实现所需功能，实际项目中，应把节点放在不同服务器上)
2个NameNode、2个DataNode、2个ZKFC（与NameNode同节点）、3个Zookeeper、3个JournalNode

节点作用：
1）NameNode：用于保存数据的存储位置，不保存数据。
在HA模式下，需要至少两个，主NameNode为Active状态，其他NameNode为Standby状态，ActiveNameNode处理所有操作，StandbyNameNode只做与Active NameNode进行数据同步操作

2）DataNode：用于存储数据

3）JournalNode：用于日志记录
- ActiveNameNode：当Active NameNode进行操作时，会确保将日志editLog修改到JournalNode的一半以上节点上，之后NameNode会返回操作成功
- StandbyNameNode：监控JournalNode，当检测到变化时，会将修改应用到自己的NameNode上，当ActiveNameNode发生故障时，StandbyNameNode确保自己已经读取了JournalNode中所有日志editLog后，会切换为ActiveNameNode
- QuorumJournalManager：QJM是hadoop专门为NameNode共享存储开发的组件。集群运行一组JournalNode，每个JournalNode暴露一个简单的RPC接口，允许NameNode读取和写入，数据存放在JournalNode的本地磁盘。当NameNode写入日志时，它向集群所有JournalNode发送写入请求，当一半以上的JournalNode回复确认写入成功时，会返回操作成功

4）ZKFC：用于故障转移
ZKFC运行在每一台NameNode上，与Zookpper集群一起完成故障后的节点切换

5）Zookeeper：用于ActiveNameNode选举
NameNode启动时，会去Zookpper里争抢一个锁，并设置一个通过事件机制设置回调事件，成功抢到的NameNode就是ActiveNameNode，其他的NameNode就是StandbyNameNode，如果ActiveNameNode故障，Zookpper会通过事件机制触发回调事件，通知ZKFC，告诉ZKFC需要转移ActiveNameNode，然后ZKFC会去看ActiveNameNode是否真的故障了，如果确认真的故障了，才会将StandbyNameNode变成ActiveNameNode

二、HDFS-HA搭建

1.基础环境(3个服务器都需配置)

#临时关掉NetworkManager
systemctl stop NetworkManager
#永久关掉NetworkManager
systemctl disable NetworkManager
#关闭防火墙
systemctl disable --now firewalld
setenforce 0
#关闭dnsmasq
systemctl disable --now dnsmasq
#开启service服务
systemctl start network.service
service network restart

2.网卡配置

三个节点分别命名分别为node01，node02，node03，并配置对应ip，启动对应的节点服务
node01：192.168.132.101
【NameNode、ZKFC(DFSZKFailoverController)、Zookeeper(QuorumPeerMain)、JournalNode】

node02：192.168.132.102
【NameNode、ZKFC(DFSZKFailoverController)、DataNode、Zookeeper(QuorumPeerMain)、JournalNode】

node03：192.168.132.103
【DataNode、Zookeeper(QuorumPeerMain)、JournalNode】
1）配置服务器名

#编辑/etc/sysconfig/network文件
vi /etc/sysconfig/network

node01节点的HOSTNAME设置为node01
node02节点的HOSTNAME设置为node02
node03节点的HOSTNAME设置为node03

#将/etc/sysconfig/network文件修改为以下内容
NETWORKING=yes
HOSTNAME=node01

2）网卡ip配置

#编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33

node01节点的IPADDR配置为192.168.132.101
node02节点的IPADDR配置为192.168.132.102
node03节点的IPADDR配置为192.168.132.103

TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.132.101
NETMASK=255.255.255.0
GATEWAY=192.168.132.2
DNS1=8.8.8.8

3）DNS配置

#编辑/etc/resolv.conf文件
vi /etc/resolv.conf

node01节点、node01节点、node03节点都配置nameserver为8.8.8.8

nameserver 8.8.8.8

4）重启网卡
node01节点、node01节点、node03节点都需重启网卡

systemctl restart network

3.新建用户并添加sudo权限

1）添加用户：useradd 用户名
node01节点、node01节点、node03节点都添加hadoop用户

useradd hadoop

2）修改密码：passwd 用户名
node01节点、node01节点、node03节点都修改hadoop密码

passwd hadoop

3）修改sudoers文件，给用户sudo权限
node01节点、node01节点、node03节点都在sudoers下添加一行：hadoop ALL=(ALL) ALL

#修改sudoers权限
chmod 777 /etc/sudoers

#修改sudoers文件
vi /etc/sudoers

#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行
hadoop ALL=(ALL)      ALL

#将sudoers文件权限改回来
chmod 440 /etc/sudoers

4）修改hosts文件

#编辑/etc/hosts文件
vi /etc/hosts

node01节点、node01节点、node03节点都做以下配置

#在/etc/hosts下添加
192.168.132.101 node01
192.168.132.102 node02
192.168.132.103 node03

5）修改hostname文件

#修改/etc/hostname文件
vi /etc/hostname

node01节点配置为node01
node02节点配置为node02
node03节点配置为node03

#将/etc/hostname的文本修改为对应服务器名（master01，node01，node02）
node01

4.时间修改，避免节点心跳时间对不上导致出错

node01节点、node01节点、node03节点都做以下配置

#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

#修改时间
#查看硬件的时间
hwclock --show

#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间
hwclock --set --date '2024-02-...'

#设置系统时间和硬件时间同步
hwclock --hctosys

#保存时钟
clock -w

5.安装jdk环境

node01节点、node01节点、node03节点都做以下配置

下载地址：https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址：https://www.oracle.com/java/technologies/downloads/#java8

#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz

#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk

#编辑/etc/profile文件
vi /etc/profile

#添加环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA_HOME/bin:$PATH

#刷新环境变量
source /etc/profile

#验证
java -version

6.安装hadoop

node01节点、node01节点、node03节点都做以下配置

下载地址：https://dlcdn.apache.org/hadoop/common

#解压
tar -zxvf hadoop-3.3.6.tar.gz

#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop

#编辑/etc/profile文件
vi /etc/profile

#添加环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#刷新环境变量
source /etc/profile

#验证
hdfs version

7.ssh免密（NameNode需要能ssh免密到其他节点）

1）安装ssh

#安装ssh
yum install ssh

2）生成RSA密钥和公钥
需要先进入对应用户再生成密钥和公钥
node01节点、node01节点、node03节点都进入hadoop用户

su hadoop

生成密钥和公钥

#生成RSA密钥和公钥，-t表示type
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

3）在~/.ssh文件夹下新增config，配置需要ssh的服务器信息

#编辑~/.ssh/config
vi ~/.ssh/config

在~/.ssh/config文件下添加ssh的服务器信息

Host node01
HostName 192.168.132.101
User hadoop
IdentitiesOnly yes

Host node02
HostName 192.168.132.102
User hadoop
IdentitiesOnly yes

Host node03
HostName 192.168.132.103
User hadoop
IdentitiesOnly yes

修改下config的权限

chmod 600 ~/.ssh/config

4）将公钥发送到对应服务器，实现对对应服务器的免密登录
node01和node02有NameNode节点，所以需要能ssh到其他节点

#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

#在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点
ssh-copy-id node02
ssh-copy-id node03

#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点
ssh-copy-id node01
ssh-copy-id node03

#修改下authorized_keys的权限，否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys

6）验证免密登录
node01应能ssh到node02和node03
node02应能ssh到node01和node03

ssh localhost
ssh node01
ssh node02
ssh node03

8.安装Zookeeper

node01节点、node01节点、node03节点都做以下配置

下载地址：https://zookeeper.apache.org/releases.html
1）安装zookpper

#解压
tar -zxvf apache-zookeeper-3.8.3-bin.tar.gz

#移动zookeeper文件夹
mv apache-zookeeper-3.8.3-bin /usr/zookeeper

#编辑/etc/profile文件
vi /etc/profile

#添加环境变量
export ZOOKEEPER_HOME=/usr/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#刷新环境变量
source /etc/profile

#新建一个存放数据的文件夹
mkdir -p /bigdata/zookeeper

2）配置zookpper
复制zoo_sample.cfg为zoo.cfg，默认启动读取zoo.cfg文件

#复制conf/zoo_sample.cfg
cp /usr/zookeeper/conf/zoo_sample.cfg /usr/zookeeper/conf/zoo.cfg

修改zoo.cfg文件,客户端连接需要配置一个端口，服务需要配置两个端口，一个端口是有主从的使用状态，另一个端口是无主从的选举状态

#编辑zoo.cfg文件
vi /usr/zookeeper/conf/zoo.cfg

#修改以下内容
dataDir=/bigdata/zookeeper
clientPort=2181

#添加以下内容
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

创建myid并添加zoo.cfg配置文件里server后面的权重值
在上面的zoo.cfg配置文件中，node01是server.1，node02是server.2，node03是server.3

因此
在node01节点配置：echo 1 > /bigdata/zookeeper/myid
在node02节点配置：echo 2 > /bigdata/zookeeper/myid
在node03节点配置：echo 3 > /bigdata/zookeeper/myid

echo 1 > /bigdata/zookeeper/myid

3）配置权限并启动
修改zookeeper文件权限
node01节点、node01节点、node03节点都执行：chown -R hadoop /usr/zookeeper

chown -R hadoop /usr/zookeeper
chmod -R 770 /usr/zookeeper

修改zookpper数据文件夹权限
node01节点、node01节点、node03节点都执行：chown -R hadoop /bigdata/zookeeper

chown -R hadoop /bigdata/zookeeper
chmod -R 770 /bigdata/zookeeper

启动
需要先切换到对应用户
node01节点、node01节点、node03节点都切换到hadoop用户

su hadoop

node01节点、node01节点、node03节点都需要启动后再验证

zkServer.sh start

验证
出现Mode: follower或Mode: leader就是启动成功

zkServer.sh status

9.hadoop配置hdfs(所有节点可以用同一份配置)

1）修改hadoop-env.sh文件，添加启动的java路径，分布式部署后，每个地方的java路径不一定相同

#编辑hadoop-env.sh文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA_HOME=/usr/java/jdk

2）修改core-site.xml文件，添加启动的namenode节点、zookeeper 节点和对应端口

#编辑core-site.xml文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml

#修改并添加启动的namenode节点、zookeeper 节点和对应端口
<configuration>
<property>
  <!--指定namenode逻辑一对多-->
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
  <!-- 开启zookeeper -->
  <name>ha.zookeeper.quorum</name>
  <value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/bigdata/hadoop/tmp</value>
</property>
<property>
  <name>io.file.buffer.size</name>
  <value>131702</value>
</property>
</configuration>

3）编辑workers，指定从哪些节点里启动DataNode（2.x版本是编辑slaves）

#编辑workers文件
vi $HADOOP_HOME/etc/hadoop/workers

#在workers文件里修改并添加DataNode启动节点(把里面默认的localhost去掉)
node02
node03

4）修改hdfs-site.xml文件，添加副本数量、hdfs的web访问地址、SecondaryNameNode的web访问地址等配置

#编辑hdfs-site.xml文件
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

#设置namenode，datanode文件存储地址，web地址等配置
<configuration>
  <property>
    <!--指定namenode文件存储地址-->
    <name>dfs.namenode.name.dir</name>
    <value>/bigdata/hadoop/hdfs_name</value>
  </property>
  <property>
    <!--指定datanode文件存储地址-->
    <name>dfs.datanode.data.dir</name>
    <value>/bigdata/hadoop/hdfs_data</value>
  </property>
  <property>
    <!--指定集群id-->
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
  	<!--指定namenode逻辑一对多-->
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <!--指定namenode逻辑一对多映射1-->
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>node01:8081</value>
  </property>
  <property>
    <!--指定namenode逻辑一对多映射2-->
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>node02:8081</value>
  </property>
  <property>
    <!--指定namenode逻辑一对多映射1的web应用-->
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>node01:50070</value>
  </property>
  <property>
    <!--指定namenode逻辑一对多映射2的web应用-->
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>node02:50070</value>
  </property>
  <property>
    <!--指定共享edits数据的journal分别在哪些服务器-->
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
  </property>
  <property>
    <!--指定共享edits数据的journal存储数据的文件夹-->
    <name>dfs.journalnode.edits.dir</name>
    <value>/bigdata/hadoop/ha_hdfs_journal</value>
  </property>
  <property>
    <!--指定代理实现类是什么，在做ha切换的时候，命令发给哪个实现类-->
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <!--指定使用什么方式来发送指定代理的信号，sshfence是使用ssh方式-->
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <!--指定ssh方式的免密文件-->
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>~/.ssh/id_rsa</value>
  </property>
  <property>
    <!-- 开启namenode同节点的zkfc -->
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

10.格式化并启动

1）修改hadoop文件权限
node01节点、node01节点、node03节点都执行：chown -R hadoop /usr/hadoop

chown -R hadoop /usr/hadoop
chmod -R 770 /usr/hadoop

2）创建数据存储文件夹
node01节点、node01节点、node03节点都需要创建

mkdir -p /bigdata/hadoop

3）修改数据存储文件夹权限
node01节点、node01节点、node03节点都执行：chown -R hadoop /bigdata

chown -R hadoop /bigdata
chmod -R 770 /bigdata

4）切换到对应用户
node01节点、node01节点、node03节点都切换到hadoop用户

su hadoop

5）把所有JournalNode节点的JournalNode启动一下
这里node01、node02、node03都作为JournalNode节点，所以都需要启动

hdfs --daemon start journalnode

6）选择一个NameNode做格式化,只需要格式化一次NameNode就行，不然会出现不同id，其他NameNode进行同步即可
这里node01、node02都作为NameNode节点，这里选择在node01上执行，并启动NameNode，以备其他NameNode同步

hdfs namenode -format
hdfs --daemon start namenode

7）在其他NameNode节点中同步NameNode
这里node01、node02都作为NameNode节点，这里node01格式化了，所以在node02执行同步即可

hdfs namenode -bootstrapStandby

8）格式化Zookeeper
只需一个节点进行格式化即可

hdfs zkfc -formatZK

9）启动hdfs

start-dfs.sh

10）验证
使用jps验证
node01应有：NameNode、DFSZKFailoverController、QuorumPeerMain、JournalNode

node02应有：NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode

node03应有：DataNode、QuorumPeerMain、JournalNode

jps

11)可以通过http://192.168.132.101:50070查看NameNode管理页面，多个NameNode只会有一个active
在这里插入图片描述
12）可以通过http://192.168.132.102:50070查看NameNode管理页面，多个NameNode只会有一个active

三、MapReduce环境

1.MapReduce节点

MapReduce主要用于分布式计算，分为ResourceManager和NodeManager。
ResourceManager：主要用于资源管理。
NodeManager：每个DataNode节点上都会有NodeManager，会定时向ResourceManager汇报自身DataNode的资源情况。

2.执行原理

1）用户向yarn的ResourceManager提交应用
2）ResourceManager通知一台不忙的NodeManager启动一个Container，在里面启动一个AppMaster。
3）AppMaster启动后从hdfs下载对应的切片清单，然后向ResourceManager请求获取切片清单对应的资源
4）ResourceManager收到AppMaster的请求后，会根据自己掌握的资源情况找到对应合适的NodeManager分配一个Container并反向注册到AppMaster
5）AppMaster将任务Task发送给Container
6）Container会反射相应的Task类为对象，调用方法执行

3.高可用故障转移原理

1）ResourceManager高可用性是通过活动/备用架构实现的。
2）在任何时间点，其中一个ResourceManager都是活动的，而一个或多个ResourceManager处于备用模式，等待在活动RM发生任何情况时接管。
3）当活动ResourceManager停止工作或变得无响应时，另一个ResourceManager会自动被选为活动ResourceManager，然后接管工作。ResourceManager中嵌入的ActiveStandbyElector充当故障检测器和领导者选举器，而不是单独的ZKFC守护程序。

四、MapReduce搭建（3个节点可以用同一份配置）

1.文件配置

1）修改mapred-site.xml

#编辑mapred-site.xml
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
#设置MapReduce作业的运行时框架
<configuration>
  <property>
    <!--指定执行MapReduce作业的运行时框架，可以是local，classic，yarn，默认为local-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <!--指定应用运行环境-->
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

2）修改yarn-site.xml

#编辑yarn-site.xml
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
#设置MapReduce通过shuffle进行分发，管理resourcemanager的地址等配置
<configuration>
  <property>
    <!-- 从map到reduce通过shuffle进行分发 -->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <!-- 启动ha模式 -->
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <!-- 自定义一个集群id -->
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster1</value>
  </property>
  <property>
    <!-- yarn的1对多映射 -->
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <!-- yarn的1对多映射1 -->
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node01</value>
  </property>
  <property>
    <!-- yarn的1对多映射2 -->
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node02</value>
  </property>
  <property>
    <!-- yarn的web管理地址1 -->
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>node01:8088</value>
  </property>
  <property>
    <!-- yarn的web管理地址2 -->
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>node02:8088</value>
  </property>
  <property>
    <!-- zookpper节点连接配置 -->
    <name>hadoop.zk.address</name>
    <value>node01:2181,node02:2181,node03:2181</value>
  </property>
  <!-- 环境变量白名单 -->
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

3）编辑workers，指定从哪些节点里启动DataNode的同时指定了NodeManager从哪些节点启动

2.启动并验证MapReduce

1）启动

start-yarn.sh

2）查询是否启动（执行jps）
node01上有：NameNode、DFSZKFailoverController、QuorumPeerMain、JournalNode、ResourceManager

node02上有：NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode、ResourceManager、NodeManager

node03上有：DataNode、QuorumPeerMain、JournalNode、NodeManager
3）可以通过http://192.168.132.101:8088/cluster/cluster或者http://192.168.132.102:8088/cluster/cluster查看resourcemanager的管理页面
在这里插入图片描述