1、Spark运行模式
1、local:运行在一台机器上。测试用。
2、Standalone:是Spark自身的一个调度系统。 对集群性能要求非常高时用。国内很少使用。
3、Yarn:采用Hadoop的资源调度器。 国内大量使用。
Yarn-client模式:Driver运行在Client上(不在AM里)
Yarn-cluster模式:Driver在AM上
4、Mesos:国内很少使用。
5、K8S:趋势,但是目前不成熟,需要的配置信息太多。
2、Spark常用端口号
a、4040 spark-shell任务端口
b、7077 内部通讯端口。类比Hadoop的8020/9000
c、8080 查看任务执行情况端口。 类比Hadoop的8088
d、18080 历史服务器。类比Hadoop的19888
注意:由于Spark只负责计算,所有并没有Hadoop中存储数据的端口9870/50070。