目前 Apache Spark 支持四种模式 分别是
local:开发模式使用
Standalone:Spark 自带模式,即独立模式,自带完整服务,可以单独部署到一个集群中。目前 Spark 在 standalon 模式下是没有单点故障问题,通过 zookeeper 实现的。架构和 MapReduce 是完全一样的。
Spark On Mesos :官方推荐这种模式,目前而言,Spark 运行在 Mesos 上比运行在 YARN 上更加灵活
Spark On YARN:目前很有前景的部署模式,
支持两种模式
1)yarn-cluster:适用于生产环境
2)yarn-client:适用于交互、调试、希望立即看到 app 的输出上面涉及到Spark的许多部署模式,究竟哪种模式好这个很难说,需要根据你的需求,如果你只是测试Spark Application,你可以选择local模式。而如果你数据量不是很多,Standalone 是个不错的选择。当你需要统一管理集群资源(Hadoop、Spark等),那么你可以选择Yarn或者mesos,但是这样维护成本就会变高。
· 从对比上看,mesos似乎是Spark更好的选择,也是被官方推荐的
· 但如果你同时运行hadoop和Spark,从兼容性上考虑,Yarn是更好的选择。 · 如果你不仅运行了hadoop,spark。还在资源管理上运行了docker,Mesos更加通用。
· Standalone对于小规模计算集群更适合!
Spark On YARN两种模式介绍
yarn-cluster和yarn-client的区别在于yarn appMaster,每个yarn app实例有一个appMaster进程,是为app启动的第一个container;负责从ResourceManager请求资源,获取到资源后,告诉NodeManager为其启动container。yarn-cluster和yarn-client模式内部实现还是有很大的区别。如果你需要用于生产环境,那么请选择yarn-cluster;而如果你仅仅是Debug程序,可以选择yarn-client。
提示:不管什么模式,Spark 的应用程序代码一样,只是在提交时通过–master参数来指定,运行模式就行
Spark 运行模式
两种模式的区别
- Client
- Driver 运行在 Client 端(提交 Spark 作业的机器)
Client 会和请求到 Container 进行通信来完成通信作业的调度和执行,Client 是不能退出的
日志新在控制台输出:便于测试 - Cluster
- Driver 运行在 ApplicationMaster 中
Client 只要完成提交作业后就可以关掉,因为作业已经执行在 YARN 上运行了
日志在终端看不到,因为日志在 Driver 上,只能通过 yarn logs -applicationId application_id
运行实例
1)首先启动 YARN 资源管理器
2)更改$SPARK_HOME/conf/spark-env.sh下文件
添加25行的 HADOOP_CONF_DIR配置文件的路径
如果不配置的话出现错误:
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
3)运行代码实例
官网实例:http://spark.apache.org/docs/latest/submitting-applications.html#master-urls
运行 yarn client 模式
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--executor-memory 1G \
--num-executors 1 \
/opt/spark-2.3.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.3.0.jar \
10
直接可以在面板看到 PI 的输出:
在 YARN 后台:
运行yarn-cluster模式
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--executor-memory 1G \
--num-executors 1 \
/opt/spark-2.3.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.3.0.jar \
10
只可以在 YARN 后台可以看到: