SparkStreaming累加器单词计算

最新推荐文章于 2024-06-26 00:16:48 发布

兴兴侠

最新推荐文章于 2024-06-26 00:16:48 发布

阅读量480

点赞数 1

分类专栏： spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/qq_45862976/article/details/121549264

版权

SparkStreaming累加器单词计算

快传门

SparkStreaming累加器单词计算

一、需求分析

在服务器端不断产生数据的时候，sparkstreaming客户端需要不断统计服务器端产生的相同数据出现的总数，即累计服务器端产生的相同数据的出现的次数。

二、实验环境

1.工具

centos7 + hadoop2.7.3 + nc + spark2.4.8 + idea

2.依赖

在idea项目的pom.xml文件添加依赖（这里面还有其它的依赖，可根据自己的情况添加相应的依赖）：

 <properties>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.4.8</spark.version>
        <spark.artifact.version>2.12</spark.artifact.version>
        <hadoop.version>2.7.3</hadoop.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${spark.artifact.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${spark.artifact.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>