最新Centos7搭建hadoop集群(2)，2024年最新大数据开发高级工程师面试实战

最新推荐文章于 2024-05-31 14:54:28 发布

2401_84141419

最新推荐文章于 2024-05-31 14:54:28 发布

阅读量350

点赞数 4

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84141419/article/details/138754463

版权

程序员专栏收录该内容

193 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ping 域名
ping hadoop1
ping hadoop2
ping hadoop2

如果三台虚拟机之间都是可以相互ping通，则证明配置没有问题。

4.虚拟机配置ssh免密登录

在每台虚拟机上使用生成rsa非对称密钥的命令

ssh-keygen -t rsa
执行命令，连续按三次回车

在hadoop中，将hadoop1中的公钥拷贝到文件authorized_keys中

cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下

在hadoop2中，将文件authorized_keys同步到Hadoop2，并将hadoop2生成的公钥追加到文件中

scp：这个命令可以用于跨虚拟机之间的拷贝，前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys

在hadoop3中，将文件authorized_keys同步到hadoop3中，并追加hadoop3 的公钥，最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2

# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys 
# 同步回hadoop1、hadoop2
3. 
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/

完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机，且不用输入密码

ssh root@hadoop2

5.hadoop集群配置文件配置

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 配置到hadoop目录下temp文件夹 -->
        <value>file:/opt/softtools/hadoop/tmp</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
        <!--伪分布式模式，此值必须为1-->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <!-- name node 存放 name table 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <!-- data node 存放数据 block 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>192.168.223.200:9870</value>
    </property>
</configuration>