hadoop平台搭建步骤，大数据开发高级开发岗必问知识点

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

---

移除防火墙：systemctl disable firewalld.service

六、配置host映射

1,生成新的uuid

uuidgen

2.将生成的uuidgen复制下来，用vi编辑器进入/etc/sysconfig/network-scripts/ifcfg-ens32

把里面的uuidgen修改为复制后的内容

cd /etc

---

vi hosts

---

192.168.36.131        master

192.168.36.134        slave1

192.168.36.132        slave2

在三台机器上分别配置完成后，使用ping命令，看看是否能够正确解析出ip地址 （ctrl+c结束）

七、ssh远程登陆功能配置

（1）生成公钥密钥对 （连续按enter）

ssh-keygen

（2） 在此目录下输入ll -a 后查看当前目录下的所有文件，再进入ssh

cd .ssh/

执行以下命令：

ssh-copy-id        master （中间为tap键）

ssh-copy-id        slave1

ssh-copy-id        slave2

（3）验证是否连接成功

ssh master（验证成功后用exit退出）

ssh slave1

ssh slave2

八、 配置jdk环境

/opt/module 用来存放解压后的软件

/opt/software 用来存放安装包的压缩包

mkdir -p /opt/module

mkdir -p /opt/software

1.cd /opt/software/    (勾选上Follow terminal folder)

2.在此目录下上传安装包  ll  ls查看一下

3.解压到指定目录

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module/

tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module/

4.环境变量的配置

cd /etc/profile.d/      (ll一下)

---

vi my_env.sh

#jdk环境变量

export JAVA_HOME=

export PATH=$JAVA\_HOME/bin:$PATH

1.cd /opt/module/

ll

pwd

出现/opt/module/jdk…复制到export JAVA_HOME=后

5.生效环境变量的配置

source /etc/profile

6.验证环境是否安装成功

jave -version

7.传输

scp -r /opt/module/jdk1.8.0_161 slave2:/opt/module/

九、停止网络

1.systemctl status network

2.systemctl stop NetworkManager

3.systemctl disable NetworkManager

十、配置Hadoop环境变量

cd…

cd /opt/module

ll

vi /etc/profile.d/my_env.sh

ll

cd hadoop-3.1.4/

pwd

vi /etc/profile.d/my_env.sh

#hadoop环境变量

export HADOOP_HOME=/opt/module/hadoop-3.1.4  (将pwd后的内容插入到HADOOP_HOME=后)

export PATH=$HADOOP\_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

hadoop version

scp -r hadoop-3.1.4 slave1:/opt/module/  (在module路径下)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

scp -r hadoop-3.1.4 slave1:/opt/module/  (在module路径下)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-2QtIxPhU-1713289501323)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！