本文详细介绍了Spark的四种运行模式：Local、Standalone、YARN和Mesos，包括各自的特点和应用场景。Local模式适用于开发测试，Standalone模式是独立Spark集群，YARN模式依赖于Hadoop资源调度，而Mesos模式则在Mesos集群上运行。文章还提到了启动Spark Shell的不同参数，以及Spark作业在YARN上的client和cluster部署模式的区别。
1.spark主要有四种运行模式：Local、standalone、yarn、mesos。
1)Local模式：在一台机器上，一般用于开发测试
2)standalone模式：完全独立的spark集群，不依赖其他集群，分为Master和work。
客户端向Master注册应用，Master向work发送消息，依次启动Driver，executor，Driver负责向executors发送任务消息。
3)yarn模式：依赖于hadoop集群，yarn资源调度框架，将应用提交给yarn，在ApplactionMaster(相当于Stand alone模式中的Master)中运行driver，在集群上调度资源，开启excutor执行任务。
4)Spark on Mesos模式：类似于yarn模式，运行在Mesos集群上(Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的，后在Twitter得到广泛使用。)
2、启动方式：sparkShell
spark-shell通过不同的参数控制采用何种模式进行。 涉及两个参数：
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local.
--deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or
on one of the worker machines inside the cluster (
最低0.47元/天 解锁文章
1110
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
