2024年最全Centos7搭建hadoop集群(1)，拿下我人生中第7个Offer

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

systemctl restart network

• 对三台虚拟都进行类似的操作
• 使用ping命令检查三台虚拟机之间是否可以进行通信

ping 域名
ping hadoop1
ping hadoop2
ping hadoop2

如果三台虚拟机之间都是可以相互ping通，则证明配置没有问题。

4.虚拟机配置ssh免密登录

• 在每台虚拟机上使用生成rsa非对称密钥的命令

ssh-keygen -t rsa
执行命令，连续按三次回车

• 在hadoop中，将hadoop1中的公钥拷贝到文件authorized_keys中

cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下

• 在hadoop2中，将文件authorized_keys同步到Hadoop2，并将hadoop2生成的公钥追加到文件中

scp：这个命令可以用于跨虚拟机之间的拷贝，前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys 

• 在hadoop3中，将文件authorized_keys同步到hadoop3中，并追加hadoop3 的公钥，最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2

# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys 
# 同步回hadoop1、hadoop2
3. 
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/

• 完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机，且不用输入密码

ssh root@hadoop2

5.hadoop集群配置文件配置

• core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 配置到hadoop目录下temp文件夹 -->
        <value>file:/opt/softtools/hadoop/tmp</value>
    </property>
</configuration>

• yarn-site.xml

<configuration>
    <property>
        <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

• mapred-site.xml

<configuration>
    <property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• hdfs-site.xml

<configuration>
    <property>
        <!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
        <!--伪分布式模式，此值必须为1-->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <!-- name node 存放 name table 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <!-- data node 存放数据 block 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>


![img](https://img-blog.csdnimg.cn/img_convert/aafa926fce92f290d570312d1d8ebf40.png)
![img](https://img-blog.csdnimg.cn/img_convert/e395dad4e918824b7b294570045672b3.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**