大型架构及配置技术大数据（二）之完全分布式，节点管理，NFS网关

最新推荐文章于 2024-06-04 14:32:14 发布

SshikSsh

最新推荐文章于 2024-06-04 14:32:14 发布

阅读量478

点赞数 1

分类专栏：大数据文章标签： linux

本文链接：https://blog.csdn.net/yy1506438689/article/details/107890331

版权

本文详细介绍了如何搭建完全分布式的HDFS和YARN集群，包括NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager的配置与启动。接着，讲述了如何通过MapReduce和YARN进行分布式计算，并验证HDFS的基本操作。接着，讨论了节点管理，包括新增、修复和删除DataNode节点的步骤。最后，讲解了NFS网关的配置，使得用户能够通过NFS访问HDFS文件系统，包括配置代理用户、NFS.exports.allowed.hosts和nfs.dump.dir等，并演示了NFS的挂载与使用。

摘要由CSDN通过智能技术生成

一、完全分布式
主机名 IP地址软件角色
nn60 192.168.4.60/24 HDFS，YARN NameNode SecondaryNameNode ResourceManager
node61 192.168.4.61/24 HDFS，YARN DataNode NodeManager
node62 192.168.4.62/24 HDFS，YARN DataNode NodeManager
node63 192.168.4.63/24 HDFS，YARN DataNode NodeManager
   主机名 IP 作用
   node4 192.168.4.64/24 新增节点
   nfsgw 192.168.4.65/24 浏览访问HDFS文件系统

1）安装部署
1.Hadoop三大核心组件
   分布式文件系统HDFS已经部署完毕
   分布式计算框架MapReduce
   集群资源管理yarn

2.mapred部署
   分布式计算框架mapred-site.xml
       改名
           FROM : mapred-site.xml.template
               To : mapred-site.xml
   资源管理类
       mapreduce.framework.name
   分布式计算框架mapred-site.xml
       只支持local和yarn两种
       单机使用local
       集群使用yarn
           <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
           </property>
[root@nn60 ~]# cd /usr/local/hadoop/etc/hadoop/
[root@nn60 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@nn60 hadoop]# vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.yarn部署
   资源管理yarn-site.xml
       resourcemanager地址
           yarn.resourcemanager.hostname
       nodemanager使用哪个计算框架
           yarn.nodemanager.aux-services
       mapreduce_ shuffle 计算框架的名称
           mapreduce_ shuffle
   资源管理yarn-site.xml
       yarn-site.xml配置
       <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>nn60</value>
       </property>
       <property>
    <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
   启动服务
       # /usr/local/hadoop/sbin/start-yarn.sh
   验证服务
       jps和./bin/yarn node -list
           # ./bin/yarn node -list
[root@nn60 hadoop]# vim yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>nn60</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
[root@nn60 hadoop]# for i in 61 62 63;do rsync -aSH /usr/local/hadoop/ 192.168.4.$i:/usr/local/hadoop/ -e 'ssh' & done ==>>同步配置
[1] 5403
[2] 5404
[3] 5405
[root@nn60 hadoop]# ./sbin/start-dfs.sh
[root@nn60 hadoop]# ./sbin/start-yarn.sh

4.Web访问Hadoop
   namenode web页面(nn60)
       # http://192.168.4.60:50070/
   secondory namenode web页面(nn60)
       # http://192.168.4.60:50090/
   datanode web页面(node61,node62,node63)
       # http://192.168.4.61:50075/
   resourcemanager web页面(nn60)
       # http://192.168.4.60:8088/
   nodemanager web页面(node61,node62,node63)
       # http://192.168.4.61:8042/

2）HDFS基本使用
1.HDFS使用
   HDFS基本命令
       # ./bin/hadoop fs -ls /