![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
map
不加班程序员
小白一枚
展开
-
map与flatmap区别
map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象; - 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”: 操作1:同map函数一样:原创 2017-08-01 17:25:47 · 677 阅读 · 0 评论 -
Spark中Accumulator的使用
Accumulator简介 Accumulator是spark提供的累加器,顾名思义,该变量只能够增加。 只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增加操作(使用 +=)。你也可以在为Accumulator命名(不支持Python),这样就会在spark web ui中显示,可以帮助你了解程序运行的情况。 Accumulator使用 使用示例 举...转载 2019-05-05 10:34:23 · 1293 阅读 · 0 评论