Hadoop与Spark注意事项

Hadoop与Spark注意事项

---

1、Hadoop与Spark集群启动与停止都有两种方式

• 一种是逐个服务器结点启动或停止（start-master.sh/start-worker.sh/stop-master.sh）
• 另一种是在单个节点上一键启动或停止（start-all.sh/stop-all.sh）

2、 Hadoop与Spark集群使用一键启动或停止必须设置ssh免密登录

Hadoop与Spark各结点服务器之间通信使用ssh，若不设置免密登录会无法在单个节点一键启动/停止多节点。

免密登录设置查看Hadoop分布式模式下SSH免密码登录；域名映射设置进入etc/hosts文件进行映射关系设置（如：127.0.0.1 localhost），本机名称设置进入etc/hostname文件设置（如：localhost）。

3、Spark在启动集群时，所依赖组件需先行启动。

比如在HA集群下，Zookeeper与HDFS需在集群启动前启动。

4、任何地址及其端口只有在开启后才能被连接。否则连接异常。

连接后可以进行监听与数据传输操作