oracle8090的博客

spark 任务划分源码

spark运行任务环境准备

spark自定义累加器

spark cache persist checkpoint 区别

spark实现wordcount

文件分区数据分配

spark 读取文件 产生分区原理

spark 集合数据分区数据切分原理

spark 集合中读取数据分数个数的原理

val conf=new SparkConf().setAppName("ForeachDemo").setMaster("local")val sc=new SparkContext(conf)/** * mapPartitionsWithIndex 操作每个分区,并获取分区号 * 该方法需要传入一个函数, */val func = (index: Int, iter: Ite

val conf=new SparkConf().setAppName("ForeachDemo").setMaster("local")val sc=new SparkContext(conf)//初始化一个rddval rdd1 = sc.parallelize(Array(5,6,4,7,3,8,2,9,1,10))val rdd2 = sc.parallelize(Array(5,

val conf=new SparkConf().setAppName("ForeachDemo").setMaster("local")val sc=new SparkContext(conf)/** * mapPartitionsWithIndex 操作每个分区,并获取分区号 * 该方法需要传入一个函数, */val func = (index: Int, iter: Ite