Hadoop完全分布式安装

本文档详细介绍了如何在Linux集群中进行Hadoop的完全分布式安装,包括环境准备、节点配置、SSH无密码登录、HDFS和YARN的配置、NameNode的格式化、服务启动以及节点的添加与删除。在节点添加与删除部分,阐述了如何优雅地进行节点增删以保持集群的稳定运行。
摘要由CSDN通过智能技术生成

完全分部式是真正利用多台Linux主机来进行部署Hadoop,对Linux机器集群进行规划,使得Hadoop各个模块分别部署在不同的多台机器上。
实验环境:关闭selinux,iptables
添加解析(3台):
172.25.0.117 server2
172.25.0.118 server3
172.25.0.119 server4

关闭server2服务:

[hadoop@server2 hadoop-2.7.3]$ sbin/stop-yarn.sh 
[hadoop@server2 hadoop-2.7.3]$ sbin/stop-dfs.sh 

1.安装nfs-utils服务(3台):

[root@server2 hadoop]# yum install nfs-utils -y
[root@server2 hadoop]# id hadoop
uid=500(hadoop) gid=500(hadoop) groups=500(hadoop)
[root@server2 hadoop]# vim /etc/exports
/home/hadoop *(rw,anonuid=500,anongid=500)
[root@server2 hadoop]# /etc/init.d/rpcbind start
Starting rpcbind:                                          [  OK  ]
[root@server2 hadoop]# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                                       [  OK  ]
Starting NFS daemon:                                       [  OK  ]
Starting RPC idmapd:                                       [  OK  ]

挂载:

[root@server2 hadoop]# showmount -e 172.25.0.117
Export list for 172.25.0.117:
/home/hadoop *

server3和server4端安装nfs并挂载

[root@server3 ~]# yum install nfs-utils -y
[root@server3 ~]# useradd -u 500 hadoop
[root@server3 ~]# /etc/init.d/rpcbind start
Starting rpcbind:                                          [  OK  ]
[root@server3 ~]# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                        
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值