Spark自定义累加器实现WordCount

QYHuiiQ

于 2022-11-05 21:04:36 发布

阅读量176

点赞数 2

分类专栏：大数据之Spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/127709050

版权

大数据之Spark 专栏收录该内容

19 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文通过实例详细解析Spark中自定义累加器的实现过程，以WordCount为例，探讨如何在分布式环境中进行数据统计。通过对累加器的定制，实现单词计数功能，加深对Spark核心特性的理解。

摘要由CSDN通过智能技术生成

package test.wyh.wordcount

import org.apache.spark.util.AccumulatorV2
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

object TestAccumulator {
  def main(args: Array[String]): Unit = {

    //建立Spark连接
    val sparkConf = new SparkConf().setMaster("local").setAppName("TestAccumulator")
    val sc = new SparkContext(sparkConf)

    val rdd = sc.makeRDD(List("hello", "world", "spark", "hello", "scala"))
    //创建自定义累加器对象
    val myAcc = new MyAccumulator()
    //向Spark注册累加器对象,参数二为累加器名称
    sc.register(myAcc, "WordCountAcc")
    //对原始的RDD遍历执行累加
    rdd.foreach(
      word => {
        //原始RDD每个元素都执行累加器
        myAcc.add(word)
      }
    )

了解本专栏