既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
service network restart
###### 2.网卡配置
三个节点分别命名分别为node01,node02,node03,并配置对应ip,启动对应的节点服务
**node01**:192.168.132.101
【NameNode、ZKFC(DFSZKFailoverController)、Zookeeper(QuorumPeerMain)、JournalNode】
**node02**:192.168.132.102
【NameNode、ZKFC(DFSZKFailoverController)、DataNode、Zookeeper(QuorumPeerMain)、JournalNode】
**node03**:192.168.132.103
【DataNode、Zookeeper(QuorumPeerMain)、JournalNode】
1)配置服务器名
#编辑/etc/sysconfig/network文件
vi /etc/sysconfig/network
node01节点的HOSTNAME设置为node01
node02节点的HOSTNAME设置为node02
node03节点的HOSTNAME设置为node03
#将/etc/sysconfig/network文件修改为以下内容
NETWORKING=yes
HOSTNAME=node01
2)网卡ip配置
#编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
node01节点的IPADDR配置为192.168.132.101
node02节点的IPADDR配置为192.168.132.102
node03节点的IPADDR配置为192.168.132.103
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.132.101
NETMASK=255.255.255.0
GATEWAY=192.168.132.2
DNS1=8.8.8.8
3)DNS配置
#编辑/etc/resolv.conf文件
vi /etc/resolv.conf
node01节点、node01节点、node03节点都配置nameserver为8.8.8.8
nameserver 8.8.8.8
4)重启网卡
node01节点、node01节点、node03节点都需重启网卡
systemctl restart network
###### 3.新建用户并添加sudo权限
1)添加用户:useradd 用户名
node01节点、node01节点、node03节点都添加hadoop用户
useradd hadoop
2)修改密码:passwd 用户名
node01节点、node01节点、node03节点都修改hadoop密码
passwd hadoop
3)修改sudoers文件,给用户sudo权限
node01节点、node01节点、node03节点都在sudoers下添加一行:hadoop ALL=(ALL) ALL
#修改sudoers权限
chmod 777 /etc/sudoers
#修改sudoers文件
vi /etc/sudoers
#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行
hadoop ALL=(ALL) ALL
#将sudoers文件权限改回来
chmod 440 /etc/sudoers
4)修改hosts文件
#编辑/etc/hosts文件
vi /etc/hosts
node01节点、node01节点、node03节点都做以下配置
#在/etc/hosts下添加
192.168.132.101 node01
192.168.132.102 node02
192.168.132.103 node03
5)修改hostname文件
#修改/etc/hostname文件
vi /etc/hostname
node01节点配置为node01
node02节点配置为node02
node03节点配置为node03
#将/etc/hostname的文本修改为对应服务器名(master01,node01,node02)
node01
###### 4.时间修改,避免节点心跳时间对不上导致出错
node01节点、node01节点、node03节点都做以下配置
#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#修改时间
#查看硬件的时间
hwclock --show
#设置硬件时间,正常修改时区就够了,如有需要,可以定一个固定的时间
hwclock --set --date ‘2024-02-…’
#设置系统时间和硬件时间同步
hwclock --hctosys
#保存时钟
clock -w
###### 5.安装jdk环境
node01节点、node01节点、node03节点都做以下配置
下载地址:https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址:https://www.oracle.com/java/technologies/downloads/#java8
#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz
#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=
J
A
V
A
_
H
O
M
E
/
b
i
n
:
JAVA\_HOME/bin:
JAVA_HOME/bin:PATH
#刷新环境变量
source /etc/profile
#验证
java -version
###### 6.安装hadoop
node01节点、node01节点、node03节点都做以下配置
下载地址:https://dlcdn.apache.org/hadoop/common
#解压
tar -zxvf hadoop-3.3.6.tar.gz
#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=
H
A
D
O
O
P
_
H
O
M
E
/
b
i
n
:
HADOOP\_HOME/bin:
HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH
#刷新环境变量
source /etc/profile
#验证
hdfs version
###### 7.ssh免密(NameNode需要能ssh免密到其他节点)
1)安装ssh
#安装ssh
yum install ssh
2)生成RSA密钥和公钥
需要先进入对应用户再生成密钥和公钥
node01节点、node01节点、node03节点都进入hadoop用户
su hadoop
生成密钥和公钥
#生成RSA密钥和公钥,-t表示type
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
3)在~/.ssh文件夹下新增config,配置需要ssh的服务器信息
#编辑~/.ssh/config
vi ~/.ssh/config
在~/.ssh/config文件下添加ssh的服务器信息
Host node01
HostName 192.168.132.101
User hadoop
IdentitiesOnly yes
Host node02
HostName 192.168.132.102
User hadoop
IdentitiesOnly yes
Host node03
HostName 192.168.132.103
User hadoop
IdentitiesOnly yes
修改下config的权限
chmod 600 ~/.ssh/config
4)将公钥发送到对应服务器,实现对对应服务器的免密登录
node01和node02有NameNode节点,所以需要能ssh到其他节点
#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#在node01上执行,将node01的公钥发给所有node节点,让node01能直接免密登录到其他node节点
ssh-copy-id node02
ssh-copy-id node03
#在node02上执行,将node02的公钥发给所有node节点,让node02能直接免密登录到其他node节点
ssh-copy-id node01
ssh-copy-id node03
#修改下authorized_keys的权限,否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys
6)验证免密登录
node01应能ssh到node02和node03
node02应能ssh到node01和node03
ssh localhost
ssh node01
ssh node02
ssh node03
###### 8.安装Zookeeper
node01节点、node01节点、node03节点都做以下配置
下载地址:https://zookeeper.apache.org/releases.html
1)安装zookpper
#解压
tar -zxvf apache-zookeeper-3.8.3-bin.tar.gz
#移动zookeeper文件夹
mv apache-zookeeper-3.8.3-bin /usr/zookeeper
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export ZOOKEEPER_HOME=/usr/zookeeper
export PATH=
P
A
T
H
:
PATH:
PATH:ZOOKEEPER_HOME/bin
#刷新环境变量
source /etc/profile
#新建一个存放数据的文件夹
mkdir -p /bigdata/zookeeper
2)配置zookpper
**复制zoo\_sample.cfg为zoo.cfg,默认启动读取zoo.cfg文件**
#复制conf/zoo_sample.cfg
cp /usr/zookeeper/conf/zoo_sample.cfg /usr/zookeeper/conf/zoo.cfg
**修改zoo.cfg文件,客户端连接需要配置一个端口,服务需要配置两个端口,一个端口是有主从的使用状态,另一个端口是无主从的选举状态**
#编辑zoo.cfg文件
vi /usr/zookeeper/conf/zoo.cfg
#修改以下内容
dataDir=/bigdata/zookeeper
clientPort=2181
#添加以下内容
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888
**创建myid并添加zoo.cfg配置文件里server后面的权重值**
在上面的zoo.cfg配置文件中,node01是server.1,node02是server.2,node03是server.3
因此
在node01节点配置:echo 1 > /bigdata/zookeeper/myid
在node02节点配置:echo 2 > /bigdata/zookeeper/myid
在node03节点配置:echo 3 > /bigdata/zookeeper/myid
echo 1 > /bigdata/zookeeper/myid
3)配置权限并启动
修改zookeeper文件权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /usr/zookeeper
chown -R hadoop /usr/zookeeper
chmod -R 770 /usr/zookeeper
修改zookpper数据文件夹权限
node01节点、node01节点、node03节点都执行:chown -R hadoop /bigdata/zookeeper
chown -R hadoop /bigdata/zookeeper
chmod -R 770 /bigdata/zookeeper
启动
需要先切换到对应用户
node01节点、node01节点、node03节点都切换到hadoop用户
su hadoop
node01节点、node01节点、node03节点都需要启动后再验证
zkServer.sh start
验证
出现Mode: follower或Mode: leader就是启动成功
zkServer.sh status
###### 9.hadoop配置hdfs(所有节点可以用同一份配置)
1)修改hadoop-env.sh文件,添加启动的java路径,分布式部署后,每个地方的java路径不一定相同
#编辑hadoop-env.sh文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA_HOME=/usr/java/jdk
2)修改core-site.xml文件,添加启动的namenode节点、zookeeper 节点和对应端口
#编辑core-site.xml文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml
#修改并添加启动的namenode节点、zookeeper 节点和对应端口
fs.defaultFS
hdfs://mycluster
ha.zookeeper.quorum
node01:2181,node02:2181,node03:2181
hadoop.tmp.dir
/bigdata/hadoop/tmp
io.file.buffer.size
131702
3)编辑workers,指定从哪些节点里启动DataNode(2.x版本是编辑slaves)
#编辑workers文件
vi $HADOOP_HOME/etc/hadoop/workers
#在workers文件里修改并添加DataNode启动节点(把里面默认的localhost去掉)
node02
node03
4)修改hdfs-site.xml文件,添加副本数量、hdfs的web访问地址、SecondaryNameNode的web访问地址等配置
#编辑hdfs-site.xml文件
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
#设置namenode,datanode文件存储地址,web地址等配置
dfs.namenode.name.dir
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
s的web访问地址、SecondaryNameNode的web访问地址等配置
#编辑hdfs-site.xml文件
vi $HADOOP\_HOME/etc/hadoop/hdfs-site.xml
#设置namenode,datanode文件存储地址,web地址等配置
<configuration>
<property>
<!--指定namenode文件存储地址-->
<name>dfs.namenode.name.dir</name>
[外链图片转存中...(img-NZgkJcQ9-1715420242162)]
[外链图片转存中...(img-fo9gYaTS-1715420242162)]
[外链图片转存中...(img-MnQbz3ol-1715420242162)]
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**