Hadoop分布式部署,部署一个namenode和三个datanode

本文详细介绍了如何部署一个Hadoop集群,包括克隆CentOS系统创建一主三从节点、配置静态IP、设置SSH无密码登录、安装JDK与Hadoop、修改配置文件,以及启动和测试集群的过程。
摘要由CSDN通过智能技术生成

本文以一主三从部署hadoop为介绍
1 首先克隆原有centos系统
在这里插入图片描述

2 nn_y 为主,dn1,dn2,dn3为从,都是通过克隆快速完成的. 右键管理有克隆,选择完全克隆。
3 配置网络集群:
设置静态ip
192.168.64.132
192.168.64.133
192.168.64.134
192.168.64.135
根据自己ip网络设置静态ip地址,最后三位不同。
4 通过x’shell首先完成nn_y静态ip的设置
在这里插入图片描述
1)命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述
2 命令:vi /etc/hostname
将主机名改为:nn
在这里插入图片描述
3 vi /etc/hosts
在这里插入图片描述
4 将其他三个也分别如此操作
5 新增用户,给四个分别新增用户: adduser hadoop
6 设置 ssh 无密码登陆如 nn无密码登陆dn1
1) 命令 ssh-keygen -t rsa 全部enter
在这里插入图片描述
因为启动Hadoop会让输入密码现在设置免密启动
接着将公用钥匙写入到authorized_keys文件中,并修改这个文件的权限(重要,请不要忽略)

cat id_rsa.pub >> authorized_keys
cat id_rsa.pub >> authorized_keys

2) 具体原理请看下面这篇博客:
https://blog.csdn.net/wh_19910525/article/details/74331649
生成如下文件
在这里插入图片描述
3) id_rsa (私钥) id_rsa.pub(公钥) known_hosts(记录谁登陆机子)
现在要做的是将 id_rsa.pub(公钥)传递到dn1,dn2,dn3.
10 命令 ssh-copy-id dn1 将id传递到dn1中,结果如下:
在这里插入图片描述
4)同样对dn2,dn3如此操作,如下图般就可以无密码登陆dn1,dn2,dn3.

在这里插入图片描述
7 配置jdk Java home
1 ) 安装jdk 和hadoop
2) 建立软

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值