hadoop集群启动和关闭shell脚本

最新推荐文章于 2024-06-26 10:36:46 发布

程序小小望

最新推荐文章于 2024-06-26 10:36:46 发布

阅读量3.4k

点赞数

分类专栏：大数据文章标签： hadoop shell 集群启动集群停止 start

本文链接：https://blog.csdn.net/jinyingone/article/details/44136345

版权

本文介绍了如何使用shell脚本启动和关闭Hadoop集群，强调了启动顺序（Zookeeper -> HDFS -> YARN），并指出在非登录shell环境下执行脚本时可能遇到的环境变量问题。解决方案包括在脚本中引用/etc/profile，将配置信息写入.bashrc，或直接在Zookeeper的zkEnv.sh中设置JAVA_HOME。

摘要由CSDN通过智能技术生成

说明：
1、先启动zookeeper，再启动hdfs，再启动yarn。
2、user为hadoop使用的linux用户。
3、采用SSH登陆到其他机器执行脚本的方式，且配置了ssh免密钥登陆。

start-hadoop.sh

user=hadoop
echo start zookeeper...
for zk in master05 master06 master07
do
ssh $user@$zk "source /etc/profile;/master/env/zookeeper/bin/zkServer.sh start"
done
echo zookeeper started

echo start hdfs...
hdfs=master01
ssh $user@$hdfs "source /etc/profile;/master/env/had