关于hadoop群起脚本走过的那些坑

最新推荐文章于 2023-10-04 20:01:59 发布

冉半夏生

最新推荐文章于 2023-10-04 20:01:59 发布

阅读量844

点赞数

分类专栏： Bug 文章标签： bash hadoop

本文链接：https://blog.csdn.net/tyh1579152915/article/details/109334218

版权

1、dos与unix不匹配

当脚本在远程客户端写得，或者从其它地方粘贴过来时可能会出现的问题，原因是粘贴过来的文本内容不是unix格式（一般是dos格式），需要在vi编辑器上将文件类型改为unix

# 按esc，输入：
:set fileformat=unix
:wq

2、zookeeper或journalnode在群起脚本上启动也没有保错，很正常，但jps就是没启动

zookeeper和journalnode有点特殊，我也忘记是为啥了，反正就是群起脚本执行前要加source /etc/profile

如：

#!/bin/bash

case $1 in
"start"){
	echo "------------------------$1 zookeeper------------------------"
	for i in hadoop104 hadoop105 hadoop106;
	do
		echo "------------------------$1 $i zookeeper------------------------"
		ssh $i "source /etc/profile;/opt/modules/zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh start"
	done
};;
"stop"){
    echo "------------------------$1 zookeeper------------------------"
    for i in hadoop104 hadoop105 hadoop106;
    do
        echo "------------------------$1 $i zookeeper------------------------"
        ssh $i "source /etc/profile;/opt/modules/zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh stop"
    done
};;
esac

3、hdfs无法启动

可能是没有格式化namenode

格式化可能会出现的问题：java.io.IOException: Cannot create directory /opt/module/hadoop-2.7.2/data/tmp/dfs/name/current

即无法创建文件夹，原因是权限不够切换到root用户执行bin/hdfs namenode -format

STARTUP_MSG:   build = http://github.com/cloudera/hadoop -r 6743ef286bfdd317b600adbdb154f982cf2fac7a; compiled by 'jenkins' on 2015-07-28T22:14Z
STARTUP_MSG:   java = 1.8.0_121
************************************************************/
20/10/28 18:25:22 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
20/10/28 18:25:22 INFO namenode.NameNode: createNameNode [-format]
20/10/28 18:25:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you

最低0.47元/天解锁文章