![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark基础
文章平均质量分 86
写代码的可可
微博:写代码的可可 欢迎关注
展开
-
Spark基础入门(一)--------RDD基础
(一)、RDD定义 不可变 分布式对象集合 创建RDD有两种方式: (二)、RDD分区数 (三)、RDD操作 转换操作与行动操作原创 2017-01-12 15:29:03 · 6141 阅读 · 1 评论 -
Spark基础入门(二)--------DAG与RDD依赖
spark 一、 DAG定义 二、RDD依赖关系 三、划分stage 四、小实验原创 2017-01-16 16:07:42 · 7856 阅读 · 0 评论 -
Spark基础入门(三)--------作业执行方式
(一)SparkContext 代表对集群的一个连接 (二)Job提交过程 底层分析,包括DAGScheduler,taskScheduler的分析 (三)、Spark提交Job的顺序的小实验原创 2017-01-16 20:25:28 · 4232 阅读 · 0 评论 -
spark作业调度
spark调度分为两种,一是应用之间的,二是应用内部作业的。 本文主要介绍spark应用内部的作业调度,多线程提交作业的情况下,各个job的调度方式。详细介绍了FIFO与Fair调度算法的原理、源码与案例。 结合thriftserver介绍了SQL级别的作业调度原创 2017-04-25 12:46:17 · 1367 阅读 · 0 评论