Spark
old_R
这个作者很懒,什么都没留下…
展开
-
Spark的Java API例子详解
Spark的Java API例子详解import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import ...原创 2019-11-25 13:55:04 · 361 阅读 · 0 评论 -
Spark处理数据如何获得行号
Spark处理数据如何获得行号因为Spark并行的处理数据,所以你不能在自己的driver program中计数到底是处理到第几个。Spark提供了zipWithIndex可以给你提供索引号。这个索引号是全局有序和唯一的。public RDD<scala.Tuple2<T,Object>> zipWithIndex()Zips this RDD with its el...原创 2019-09-26 21:43:48 · 1300 阅读 · 0 评论