Spark入门总结

Spark入门总结

一、Spark运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式

大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。

下面详细列举了Spark目前支持的部署模式。

（1）***Local模式：***在本地部署单个Spark服务

（2）Standalone模式：Spark自带的任务调度模式。（国内常用，效率高）

（3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用，处理大量数据）

（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。

**1）Local模式 **

​ 直接解压就好，只是用来测试用

2）Standalone模式

​ ①修改conf目录下的slaves文件，添加work节点

​ ②修改spark-env.sh文件，添加master节点

SPARK_MASTER_HOST<