- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark中RDD的Stage任务划分
1）DAG有向无环图DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。例如，DAG记录了RDD的转换过程和任务的阶段。2）RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Acti...
2020-01-13 08:26:29
923
原创 spark中的reduceByKey()算子按照key聚合value
spark 中reduceByKey()算子，记录下import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object KeyValue02_reduceByKey {def main(args: Array[String]): Unit = {//1.创建SparkConf并设置A...
2020-01-10 18:29:20
846
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人