![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
qq_22253209
这个作者很懒,什么都没留下…
展开
-
Spark中reduceByKey、groupByKey和combineByKey的区别
在spark中,reduceByKey、groupByKey和combineByKey这三种算子用的较多,其中:•reduceByKey用于对每个key对应的多个value进行merge操作,最重要的是它能够在本地先进行merge操作,并且merge操作可以通过函数自定义;•groupByKey也是对每个key进行操作,但只生成一个sequence,groupByKey本身不能自定义函数,需要先用...原创 2018-06-10 15:57:19 · 9086 阅读 · 1 评论 -
Spark2 sparkSession使用
sparkSession使用: package com.jdjr.city.demo import org.apache.spark.sql.SparkSession /** * @Auther: hongwei * @Date: 2018/11/9 16:31 * @Description: SparkSession使用 */ object Test4 { def m...原创 2018-11-09 17:00:01 · 1023 阅读 · 0 评论