1 启动环境:
- 启动hdfs: ./sbin/start-dfs.sh (hadoop 目录)
- 启动spark集群:./sbin/start-all.sh (在spark目录下)
- 检查是否启动:查看各节点折datanode Worker 进程是否启动了
2 遇到的问题:
各节点中的worker进程启动,spark UI 管理界面显示却只有master 启动,worker 节点都显示,过一会儿,worker 节点会自动关闭
原因:
虚拟机是复制的,各节点主机名一致,
解决:
修改主机名,并将集群所有主机名,ip 映射加到/etc/hosts(每一个节点都要加)
附:修改linux 主机的方法
vim /etc/hostname
将内容修改为newname 然后重启机器