linux下3.1.3Hadoop中hdfs环境详细配置过程

本文详细描述了如何在Hadoop集群环境中进行主机名和IP地址的映射,设置免密登录,以及配置环境变量、格式化HDFS、启动和停止Hadoop服务的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

主机名和IP地址的映射

移动到该目录下,注意如果是在

[XZH@westgisB040 ~]$

下可能找不到该目录,需要多执行一步cd /回到根目录

cd etc

打开里面的hosts文件

vi hosts

在该文件增加HDFS涉及的所有节点的ip地址和节点名称,例如我的就是:
10.103.105.40 westgisB040

……

执行完后记得回到~下

实现免密登录(主节点到从节点,主节点到主节点)

注意!!!在安装前要使用root账号在每个节点上创建好账号(进root后再/home下使用useradd -m username)

在主节点产生公钥

ssh-keygen -t rsa

一直按enter就可以

进入.ssh目录

cd ~/.ssh

追加公钥文件至authorized_keys文件

cat id_rsa.pub >> authorized_keys

传输authorized文件到从节点.ssh的目录下

ssh-copy-id 10.103.105.41

此处ip地址为从节点的ip地址

执行完上述三个步骤已经能实现免密登录,分别如下语句测试是否成功(所有从节点和本机的)若成功执行改语句后是不需要输入密码的。

ssh username@IP

如不成功可能是authorized_keys的权限有问题,更改权限即可

请一定确保!!!主节点到主节点的免密也实现了!!!!!!!再继续后续,否在在开启集群时无法开始!!!!!!!!!! 

请一定确保!!!主节点到主节点的免密也实现了!!!!!!!再继续后续,否在在开启集群时无法开始!!!!!!!!!! 

请一定确保!!!主节点到主节点的免密也实现了!!!!!

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值