Hadoop修改slaves的主机名,所要修改的文件

Hadoop修改slaves的主机名,所要修改的文件和其余注意事项

之前因为要我有三个虚拟机弄的集群,名字设为Centos-1,Centos-2,Centos-3。后来因为一些原因搭建spark时全改为了小写centos1,centos2,centos3。后来在启动hdfs的时候报错,才想起来还要进行设置,当时以为要弄很多文件,但查询下来不多

[root@centos-2 hadoop]vim yarn-site.xml 
[root@centos-2 hadoop]vim slaves 
[root@centos-2 hadoop]vim hdfs-site.xml
[root@centos-2 hadoop]vim core-site.xml

这几个里是hadoop集群的配置,就是NameNode和DataNode的端口配置,里面有用到主机名。
还有就是xsync分发配置,要注意,之前已经在xsync里编写了主机名的代码,要在里面进行修改后才能使用

#!/bin/bash
#1 获取这个参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=2; host<4; host++)); do
 echo ------------------- hadoop$host -------------
 echo ========pdir/$fname == $user@centos$host:$pdir====
 rsync -rvl $pdir/$fname  $user@centos$host:$pdir
done

就是上面的$user@centos$host中的“centos”
修改好xsync后,就可以将配置群发了,xsync 配置文件


除此之外,我当初创建虚拟机的时候没有克隆,java的路径不一样,要修改,不然java_home加载不了
在里 hadoop-env.sh,这个文件一般在hadoop安装目录的etc路径下
将下面的JAVA_HOME的路径改成这个虚拟机安装的java对应的目录

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_121
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值