最全Centos7搭建hadoop集群，面试阿里

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

vim /etc/hostname

• 修改虚拟机的域名映射

vim /etc/hosts

• 修改IP地址

hadoop1 192.168.223.200
hadoop2 192.168.223.201
hadoop3 192.168.223.202

vim /etc/sysconfig/network-scripts/ifcfg-ens33

• 重启网络服务

systemctl restart network

• 对三台虚拟都进行类似的操作
• 使用ping命令检查三台虚拟机之间是否可以进行通信

ping 域名
ping hadoop1
ping hadoop2
ping hadoop2

如果三台虚拟机之间都是可以相互ping通，则证明配置没有问题。

4.虚拟机配置ssh免密登录

• 在每台虚拟机上使用生成rsa非对称密钥的命令

ssh-keygen -t rsa
执行命令，连续按三次回车

• 在hadoop中，将hadoop1中的公钥拷贝到文件authorized_keys中

cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下

• 在hadoop2中，将文件authorized_keys同步到Hadoop2，并将hadoop2生成的公钥追加到文件中

scp：这个命令可以用于跨虚拟机之间的拷贝，前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys 

• 在hadoop3中，将文件authorized_keys同步到hadoop3中，并追加hadoop3 的公钥，最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2

# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys 
# 同步回hadoop1、hadoop2
3. 
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/

• 完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机，且不用输入密码

ssh root@hadoop2

5.hadoop集群配置文件配置

• core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 配置到hadoop目录下temp文件夹 -->
        <value>file:/opt/softtools/hadoop/tmp</value>
    </property>
</configuration>

• yarn-site.xml

<configuration>
    <property>
        <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>



![img](https://img-blog.csdnimg.cn/img_convert/42a1f1bcc9e1554a50a6937805bd5408.png)
![img](https://img-blog.csdnimg.cn/img_convert/d24bb6ff323c76ac00a7baae67d1ae2a.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**