02.spark-core入门（算子和Spark任务执行流程）

最新推荐文章于 2022-07-18 17:54:55 发布

不会JAVA的运营不是好数分

最新推荐文章于 2022-07-18 17:54:55 发布

阅读量515

点赞数 1

分类专栏： spark 大数据学习

本文链接：https://blog.csdn.net/qq_35356840/article/details/97886364

版权

大数据学习同时被 2 个专栏收录

21 篇文章 1 订阅

订阅专栏

spark

3 篇文章 0 订阅

订阅专栏

一、Spark Core概念讲解

Spark Core：内核，也是Spark中最重要的部分。

相当于Mapreduce
SparkCore 和 Mapreduce都是进行离线数据分析
SparkCore的核心：RDD（弹性分布式数据集），由分区组成

二、RDD的五大特性

1、RDD是由一系列的partition组成的。

partition一般有三种方式产生

（1）从Scala集合中创建，通过调用SparkContext#makeRDD或SparkContext#parallelize
是可以指定partition 个数的，若指定了具体值，那么partition的个数就等于该值
      对于从 Scala集合中转换而来的RDD：默认的partition数为defaultParallelism，该值在不同的部署模式下不同：
    Local 模式：本机 cpu cores 的数量
      Mesos 模式：8
    Yarn：max(2, 所有 executors 的 cpu cores 个数总和)
    对于从外部数据加载而来的 RDD：默认的 partition 数为 min(defaultParallelism, 2)
      对于执行转换操作而得到的 RDD：视具体操作而定，如 map 得到的 RDD 的 partition 数与父 RDD 相同;
        union 得到的 RDD的 partition 数为父 RDDs 的 partition 数之和...
（2）加载外部数据来创建 RDD，例如从 HDFS 文件、mysql 数据库读取数据等
（3）由其它 RDD 执行 transform 操作转换而来
2、函数是作用在每一个partition（split）上的。
partition 是 RDD 的数据单位，代表了一个分区的数据。但这里千万不要搞错了，partition 是逻辑概念，
是代表了一个分片的数据，而不是包含或持有一个分片的数据。
3、RDD之间有一些列的依赖关系。
如下图，可以看到RDD1产生RDD2；RDD2产生RDD3，即RDD分裂时返回的仍是RDD集，
这样就形成了RDD间的层级依赖
4、partitioner是作用在K,V格式的RDD上。
partitioner即分区器，即决定RDD的每一条消息应该分到哪个分区。
但只有 k, v 类型的RDD才能有partitioner(当然，非 key，value类型的RDD的partitioner为None)。

5、RDD提供一系列最佳的计算位置
spark提供了一种机制，在集群中运行任务时，会把task发送到集群中需要读取存储数据的节点来运行，不会将task随意发送到无关节点，这样减少数据节点间网络传输时间，做到计算移动、而数据不移动，实现了最佳计算位置。

RDD特性理解图：

三、 Spark任务执行流程

1、基于standalone-client模式

（1）spark集群启动，Worker节点向Master节点汇报各自资源，master掌握集群资源

（2）在client提交spark应用程序，此时会再client启动一个Driver进程

（3）Driver向Master请求资源，Master收到请求后，在集群中找到符合要求的节点启动Executor

（4）Driver发送task到Worker,Worker上启动的Executor开始执行任务，完成后Driver负责并回收结果

2、基于standalone-cluster模式

standalone-cluster和standalone-client不同的是，client提交任务后，不会再启动Driver，而是Master在集群中找一台节点，即Worker上启动Driver，把Driver分散在集群节点中运行，这样避免了client上提交多个任务而引起的网络流量激增问题。client没有Driver 进程，也看不到task执行情况，以及接收不到输出结果。

3、基于yarn-client模式

（1）Hadoop集群启动，NodeManager（NM）向ResourceManager（RM）通信，汇报各自资源，RM掌握集群资源

（2）client上提交spark应用，同时启动Driver，client向RM申请资源，启动ApplicationMaster(AM)

（3）RM在随机选择集群中的一个NM，来启动AM，AM向RM申请资源启动Executor，RM分配资源给NM启动Executor

（4）Executor通知Driver，Driver发送task给Executor，Executor执行完成，返回结果给Driver

4、基于yarn-cluster模式

yarn-cluste和yarn-client不同的是，client提交任务后，不会再启动Driver，而是RM在集群中找一台节点，即NM上启动Driver，把Driver分散在集群节点中运行，这样避免了client上提交多个任务而引起的网络流量激增问题。client上没有Driver 进程，也看不到task执行情况，以及接收不到输出结果。