###### 4.时间修改,避免节点心跳时间对不上导致出错
node01节点、node01节点、node03节点都做以下配置
#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#修改时间
#查看硬件的时间
hwclock --show
#设置硬件时间,正常修改时区就够了,如有需要,可以定一个固定的时间
hwclock --set --date ‘2024-02-…’
#设置系统时间和硬件时间同步
hwclock --hctosys
#保存时钟
clock -w
###### 5.安装jdk环境
node01节点、node01节点、node03节点都做以下配置
下载地址:https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址:https://www.oracle.com/java/technologies/downloads/#java8
#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz
#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=
J
A
V
A
_
H
O
M
E
/
b
i
n
:
JAVA\_HOME/bin:
JAVA_HOME/bin:PATH
#刷新环境变量
source /etc/profile
#验证
java -version
###### 6.安装hadoop
node01节点、node01节点、node03节点都做以下配置
下载地址:https://dlcdn.apache.org/hadoop/common
#解压
tar -zxvf hadoop-3.3.6.tar.gz
#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=
H
A
D
O
O
P
_
H
O
M
E
/
b
i
n
:
HADOOP\_HOME/bin:
HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH
#刷新环境变量
source /etc/profile
#验证
hdfs version
###### 7.ssh免密(NameNode需要能ssh免密到其他节点)
1)安装ssh
#安装ssh
yum install ssh
2)生成RSA密钥和公钥
需要先进入对应用户再生成密钥和公钥
node01节点、node01节点、node03节点都进入hadoop用户
su hadoop
生成密钥和公钥
#生成RSA密钥和公钥,-t表示type
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
3)在~/.ssh文件夹下新增config,配置需要ssh的服务器信息
#编辑~/.ssh/config
vi ~/.ssh/config
在~/.ssh/config文件下添加ssh的服务器信息
Host node01
HostName 192.168.132.101
User hadoop
IdentitiesOnly yes
Host node02
HostName 192.168.132.102
User hadoop
IdentitiesOnly yes
Host node03
HostName 192.168.132.103
User hadoop
IdentitiesOnly yes
修改下config的权限
chmod 600 ~/.ssh/config
4)将公钥发送到对应服务器,实现对对应服务器的免密登录
node01和node02有NameNode节点,所以需要能ssh到其他节点
#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#在node01上执行,将node01的公钥发给所有node节点,让node01能直接免密登录到其他node节点
ssh-copy-id node02
ssh-copy-id node03
#在node02上执行,将node02的公钥发给所有node节点,让node02能直接免密登录到其他node节点
ssh-copy-id node01
ssh-copy-id node03
#修改下authorized_keys的权限,否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys
6)验证免密登录
node01应能ssh到node02和node03
node02应能ssh到node01和node03
ssh localhost
ssh node01
ssh node02
ssh node03
###### 8.安装Zookeeper
node01节点、node01节点、node03节点都做以下配置
下载地址:https://zookeeper.apache.org/releases.html
1)安装zookpper
#解压
tar -zxvf apache-zookeeper-3.8.3-bin.tar.gz
#移动zookeeper文件夹
mv apache-zookeeper-3.8.3-bin /usr/zookeeper
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export ZOOKEEPER_HOME=/usr/zookeeper
export PATH=
P
A
T
H
:
PATH:
PATH:ZOOKEEPER_HOME/bin
#刷新环境变量
source /etc/profile
#新建一个存放数据的文件夹
mkdir -p /bigdata/zookeeper
2)配置zookpper
**复制zoo\_sample.cfg为zoo.cfg,默认启动读取zoo.cfg文件**
#复制conf/zoo_sample.cfg
cp /usr/zookeeper/conf/zoo_sample.cfg /usr/zookeeper/conf/zoo.cfg
**修改zoo.cfg文件,客户端连接需要配置一个端口,服务需要配置两个端口,一个端口是有主从的使用状态,另一个端口是无主从的选举状态**
#编辑zoo.cfg文件
vi /usr/zookeeper/conf/zoo.cfg
#修改以下内容
dataDir=/bigdata/zookeeper
clientPort=2181
#添加以下内容
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888
**创建myid并添加zoo.cfg配置文件里server后面的权重值**
在上面的zoo.cfg配置文件中,node01是server.1,node02是server.2,node03是server.3
因此
在node01节点配置:echo 1 > /bigdata/zookeeper/myid
在node02节点配置:echo 2 > /bigdata/zookeeper/myid
在node03节点配置:echo 3 > /bigdata/zookeeper/myid
echo 1 > /bigdata/zookeeper/myid
3)配置权限并启动
修改zookeeper文件权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /usr/zookeeper
chown -R hadoop /usr/zookeeper
chmod -R 770 /usr/zookeeper
修改zookpper数据文件夹权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /bigdata/zookeeper
chown -R hadoop /bigdata/zookeeper
chmod -R 770 /bigdata/zookeeper
启动
需要先切换到对应用户
node01节点、node01节点、node03节点都切换到hadoop用户
su hadoop
node01节点、node01节点、node03节点都需要启动后再验证
zkServer.sh start
验证
出现Mode: follower或Mode: leader就是启动成功
zkServer.sh status
###### 9.hadoop配置hdfs(所有节点可以用同一份配置)
1)修改hadoop-env.sh文件,添加启动的java路径,分布式部署后,每个地方的java路径不一定相同
#编辑hadoop-env.sh文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA_HOME=/usr/java/jdk
2)修改core-site.xml文件,添加启动的namenode节点、zookeeper 节点和对应端口
#编辑core-site.xml文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml
#修改并添加启动的namenode节点、zookeeper 节点和对应端口
fs.defaultFS
hdfs://mycluster
ha.zookeeper.quorum
node01:2181,node02:2181,node03:2181
hadoop.tmp.dir
/bigdata/hadoop/tmp
io.file.buffer.size
131702
3)编辑workers,指定从哪些节点里启动DataNode(2.x版本是编辑slaves)
#编辑workers文件
vi $HADOOP_HOME/etc/hadoop/workers
#在workers文件里修改并添加DataNode启动节点(把里面默认的localhost去掉)
node02
node03
4)修改hdfs-site.xml文件,添加副本数量、hdfs的web访问地址、SecondaryNameNode的web访问地址等配置
#编辑hdfs-site.xml文件
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
#设置namenode,datanode文件存储地址,web地址等配置
dfs.namenode.name.dir
/bigdata/hadoop/hdfs_name
dfs.datanode.data.dir
/bigdata/hadoop/hdfs_data
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
node01:8081
dfs.namenode.rpc-address.mycluster.nn2
node02:8081
dfs.namenode.http-address.mycluster.nn1
node01:50070
dfs.namenode.http-address.mycluster.nn2
node02:50070
dfs.namenode.shared.edits.dir
qjournal://node01:8485;node02:8485;node03:8485/mycluster
dfs.journalnode.edits.dir
/bigdata/hadoop/ha_hdfs_journal
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
~/.ssh/id_rsa
dfs.ha.automatic-failover.enabled
true
###### 10.格式化并启动
1)修改hadoop文件权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /usr/hadoop
chown -R hadoop /usr/hadoop
chmod -R 770 /usr/hadoop
2)创建数据存储文件夹
node01节点、node01节点、node03节点都需要创建
mkdir -p /bigdata/hadoop
3)修改数据存储文件夹权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /bigdata
chown -R hadoop /bigdata
chmod -R 770 /bigdata
4)切换到对应用户
node01节点、node01节点、node03节点都切换到hadoop用户
su hadoop
5)把所有JournalNode节点的JournalNode启动一下
这里node01、node02、node03都作为JournalNode节点,所以都需要启动
hdfs --daemon start journalnode
6)选择一个NameNode做格式化,只需要格式化一次NameNode就行,不然会出现不同id,其他NameNode进行同步即可
这里node01、node02都作为NameNode节点,这里选择在node01上执行,并启动NameNode,以备其他NameNode同步
hdfs namenode -format
hdfs --daemon start namenode
7)在其他NameNode节点中同步NameNode
这里node01、node02都作为NameNode节点,这里node01格式化了,所以在node02执行同步即可
hdfs namenode -bootstrapStandby
8)格式化Zookeeper
只需一个节点进行格式化即可
hdfs zkfc -formatZK
9)启动hdfs
start-dfs.sh
10)验证
使用jps验证
node01应有:NameNode、DFSZKFailoverController、QuorumPeerMain、JournalNode
node02应有:NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode
node03应有:DataNode、QuorumPeerMain、JournalNode
jps
![img](https://img-blog.csdnimg.cn/img_convert/be1b2fe16310715723c3afbbfadd7709.png)
![img](https://img-blog.csdnimg.cn/img_convert/ffd643c4fb2c955a6e1959bb0ea91871.png)
![img](https://img-blog.csdnimg.cn/img_convert/5ed4554281fa3178fad16caacc754265.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
.sh
10)验证
使用jps验证
node01应有:NameNode、DFSZKFailoverController、QuorumPeerMain、JournalNode
node02应有:NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode
node03应有:DataNode、QuorumPeerMain、JournalNode
jps
[外链图片转存中…(img-HwCET3Cc-1714152376733)]
[外链图片转存中…(img-ngsEPZYe-1714152376733)]
[外链图片转存中…(img-a6lgpmus-1714152376733)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新