2024年大数据最全hadoop平台搭建步骤，2024年最新大数据开发开发者必看避坑指南

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

二、克隆两台虚拟机

分别叫slave1 slave2 (用vi编辑器修改IPADDR的最后一位数字，和master不同)

三、修改主机名

hostnamectl set-hostname 主机名

三台主机的名字分别为：master slave1 slave2

修改后用reboot重启

四、配置静态ip

查看主机ip地址： ip addr

文件所在路径为/etc/sysconfig/network-scripts ，centos7系统默认为ifcfg-ens32  使用vi编辑器编辑ifcfg-ens32文件

vi /etc/sysconfig/network-scripts/ifcfg-ens32

---

进入后修改：(1).BOOTPROTO=“static”

(2).IPADDR=(ip地址)

NETMASK=255.255.255.0

GATEWAY=（网关）

DNS1=

DNS2= 8.8.8.8

配置完成后保存并退出，使用systemctl restart network重启网络

五、防火墙

关闭防火墙：systemctl stop firewalld.service

---

查看防火墙状态：systemctl status firewalld.service   (active为开启  dead为关闭)

---

移除防火墙：systemctl disable firewalld.service

六、配置host映射

1,生成新的uuid

uuidgen

2.将生成的uuidgen复制下来，用vi编辑器进入/etc/sysconfig/network-scripts/ifcfg-ens32

把里面的uuidgen修改为复制后的内容

cd /etc

---

vi hosts

---

192.168.36.131        master

192.168.36.134        slave1

192.168.36.132        slave2

在三台机器上分别配置完成后，使用ping命令，看看是否能够正确解析出ip地址 （ctrl+c结束）

七、ssh远程登陆功能配置

（1）生成公钥密钥对 （连续按enter）

ssh-keygen

（2） 在此目录下输入ll -a 后查看当前目录下的所有文件，再进入ssh

cd .ssh/

执行以下命令：

ssh-copy-id        master （中间为tap键）

ssh-copy-id        slave1

ssh-copy-id        slave2

（3）验证是否连接成功

ssh master（验证成功后用exit退出）

ssh slave1

ssh slave2

八、 配置jdk环境

/opt/module 用来存放解压后的软件

/opt/software 用来存放安装包的压缩包

mkdir -p /opt/module

mkdir -p /opt/software

1.cd /opt/software/    (勾选上Follow terminal folder)

2.在此目录下上传安装包  ll  ls查看一下

3.解压到指定目录

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module/

tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module/

4.环境变量的配置

cd /etc/profile.d/      (ll一下)

---

vi my_env.sh

#jdk环境变量

export JAVA_HOME=

export PATH=$JAVA\_HOME/bin:$PATH

1.cd /opt/module/

ll

pwd

出现/opt/module/jdk…复制到export JAVA_HOME=后

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

片转存中…(img-jRC9IlmS-1715592487109)]
[外链图片转存中…(img-tkubkfSr-1715592487109)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！