spark
文章平均质量分 79
Zzzzx_
这个作者很懒,什么都没留下…
展开
-
Spark常用算子总结
Spark常用算子总结// Transformation算子 1、map算子 接收一个函数,对于RDD中的每一个元素执行此函数操作,结果作为返回值。 val rdd = sc.parallelize(Array(1, 2, 3, 4), 1) rdd.map(x => x*x).foreach(println) // 1 4 9 162、filter 接收一个函数,对于RDD中的每一个元原创 2017-12-30 18:38:29 · 4047 阅读 · 0 评论 -
Spark shuffle相关总结
主要是http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/这篇文章的内容。 这里个人总结了一下。 宽依赖和窄依赖(wide dependency and narrow dependency) 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition。如red原创 2018-01-08 12:34:13 · 431 阅读 · 0 评论