Spark Streaming 结合kafka流式数据处理代码案例（含精确消费一次结果保存到mysql）

最新推荐文章于 2023-01-17 17:31:11 发布

闻香识代码

最新推荐文章于 2023-01-17 17:31:11 发布

阅读量1.8k

点赞数 1

本文链接：https://blog.csdn.net/xiaohu21/article/details/110731470

版权

本文介绍了Spark Streaming结合Kafka进行实时数据处理的多个案例，涉及偏移量管理和结果保存到MySQL。通过案例探讨了数据处理的细节，如避免数据重复、使用事务确保精准消费一次。同时，提到了Kafka的新特性以及在选择存储结果时对事务支持的需求，如MySQL、MongoDB和HBase。

摘要由CSDN通过智能技术生成

Spark Streaming 结合kafka流式数据处理代码案例

1. 背景

在当前大数据处理中，根据数据处理类型可以分为离线数据处理和实时数据处理。不过目前主流的实时数据处理spark streaming和flink，其实前者只能算是准实时处理技术
在国内，spark streaming做实时数据处理，一般都是结合kafka来进行数据消息缓存框架，包括spark官方案例也着重讲了这一点
spark 官方文档 http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html

2. 环境

scala 2.12.12
jdk 1.8
idea 2020.1
maven 3.6.3
spark 3.0.1
kafka 0.10
pom

<!-- 定义常量 -->
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.12.12</scala.version>
        <spark.version>3.0.1</spark.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>
        <!-- 导入scala的 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <!-- 导入spark streaming-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.49</version>
        </dependency>

    </dependencies>

    <build>
        <pluginManagement>
            <plugins>
                <!-- 编译scala插件 -->
                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.2</version>
                </plugin>
                <!-- 编译java插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.5.1</version>
                </plugin>
            </plugins>
        </pluginManagement>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>