Spark 2.x 自定义累加器AccumulatorV2的使用

生命不息丶折腾不止

于 2017-12-21 18:03:52 发布

阅读量6.1k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/leen0304/article/details/78866353

版权

Spark2.x中，旧版accumulator被AccumulatorV2取代。文章介绍了如何创建和注册不同类型的AccumulatorV2，如long、double和CollectionAccumulator。重点讲解了自定义AccumulatorV2的步骤，包括继承AccumulatorV2并覆写相关方法，以实现字符串累加功能。同时，提醒用户注意累加器在惰性转换中的使用行为可能不一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

废除

Spark2.x之后，之前的的accumulator被废除，用AccumulatorV2代替；

这里写代码片

更新增加

创建并注册一个long accumulator, 从“0”开始，用“add”累加

  def longAccumulator(name: String): LongAccumulator = {
    val acc = new LongAccumulator
    register(acc, name)
    acc
  }

创建并注册一个double accumulator, 从“0”开始，用“add”累加

  def doubleAccumulator(name: String): DoubleAccumulator = {
    val acc = new DoubleAccumulator
    register(acc, name)
    acc
  }

创建并注册一个CollectionAccumulator, 从“empty list”开始，并加入集合

def

最低0.47元/天解锁文章