spark 集群启动后,worker 节点worker 进程一段时间后自动结束

1 启动环境:
  • 启动hdfs: ./sbin/start-dfs.sh (hadoop 目录)
  • 启动spark集群:./sbin/start-all.sh (在spark目录下)
  • 检查是否启动:查看各节点折datanode Worker 进程是否启动了
2 遇到的问题:

各节点中的worker进程启动,spark UI 管理界面显示却只有master 启动,worker 节点都显示,过一会儿,worker 节点会自动关闭

原因:

虚拟机是复制的,各节点主机名一致,

解决:

修改主机名,并将集群所有主机名,ip 映射加到/etc/hosts(每一个节点都要加)

附:修改linux 主机的方法
vim /etc/hostname

将内容修改为newname 然后重启机器

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

crystalnsd

万水千山总是情,支持一下行不行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值