Hadoop修改slaves的主机名,所要修改的文件和其余注意事项
之前因为要我有三个虚拟机弄的集群,名字设为Centos-1,Centos-2,Centos-3。后来因为一些原因搭建spark时全改为了小写centos1,centos2,centos3。后来在启动hdfs的时候报错,才想起来还要进行设置,当时以为要弄很多文件,但查询下来不多
[root@centos-2 hadoop]vim yarn-site.xml
[root@centos-2 hadoop]vim slaves
[root@centos-2 hadoop]vim hdfs-site.xml
[root@centos-2 hadoop]vim core-site.xml
这几个里是hadoop集群的配置,就是NameNode和DataNode的端口配置,里面有用到主机名。
还有就是xsync分发配置,要注意,之前已经在xsync里编写了主机名的代码,要在里面进行修改后才能使用
#!/bin/bash
#1 获取这个参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=2; host<4; host++)); do
echo ------------------- hadoop$host -------------
echo ========pdir/$fname == $user@centos$host:$pdir====
rsync -rvl $pdir/$fname $user@centos$host:$pdir
done
就是上面的$user@centos$host
中的“centos”
修改好xsync后,就可以将配置群发了,xsync 配置文件
除此之外,我当初创建虚拟机的时候没有克隆,java的路径不一样,要修改,不然java_home加载不了
在里 hadoop-env.sh,这个文件一般在hadoop安装目录的etc路径下
将下面的JAVA_HOME的路径改成这个虚拟机安装的java对应的目录
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_121