2024年最新Centos7搭建hadoop集群(1)，5214页PDF的进阶架构师学习笔记

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

1.搭建单机hadoop

移步此：https://blog.csdn.net/qq_57074721/article/details/135733135

2.搭建集群hadoop

2.1克隆虚拟机

• 右击hadoop1->点击管理->点击克隆
  ](https://img-blog.csdnimg.cn/direct/dcd0f436a97b4ffa8774055aff4143e7.png)
• 点击下一步
  
• 选择虚拟机的当前状态->点击下一步
  
• 点击创建连接克隆->点击下一步
  
• 设置克隆虚拟机的名称->点击完成
  
• 将三台虚拟机都启动

3.修改三台虚拟机的配置

• 修改虚拟机的名称(修改成对应的名称即可)

vim /etc/hostname

• 修改虚拟机的域名映射

vim /etc/hosts

• 修改IP地址

hadoop1 192.168.223.200
hadoop2 192.168.223.201
hadoop3 192.168.223.202

vim /etc/sysconfig/network-scripts/ifcfg-ens33

• 重启网络服务

systemctl restart network

• 对三台虚拟都进行类似的操作
• 使用ping命令检查三台虚拟机之间是否可以进行通信

ping 域名
ping hadoop1
ping hadoop2
ping hadoop2

如果三台虚拟机之间都是可以相互ping通，则证明配置没有问题。

4.虚拟机配置ssh免密登录

• 在每台虚拟机上使用生成rsa非对称密钥的命令

ssh-keygen -t rsa
执行命令，连续按三次回车

• 在hadoop中，将hadoop1中的公钥拷贝到文件authorized_keys中

cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下

• 在hadoop2中，将文件authorized_keys同步到Hadoop2，并将hadoop2生成的公钥追加到文件中

scp：这个命令可以用于跨虚拟机之间的拷贝，前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys 

• 在hadoop3中，将文件authorized_keys同步到hadoop3中，并追加hadoop3 的公钥，最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2

# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys 
# 同步回hadoop1、hadoop2
3. 
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/

• 完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机，且不用输入密码

ssh root@hadoop2

5.hadoop集群配置文件配置

• core-site.xml

![img](https://img-blog.csdnimg.cn/img_convert/5f5f8fd48a117a5c3928220cdc8d8a36.png)
![img](https://img-blog.csdnimg.cn/img_convert/533f78ca3b165d72909f2b3fbc5d80a0.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**