Flink读取Kafka数据Sink到MySQL和HBase数据库

最新推荐文章于 2024-08-06 10:03:20 发布

睡醒的土豆

最新推荐文章于 2024-08-06 10:03:20 发布

阅读量619

点赞数

文章标签： flink

本文链接：https://blog.csdn.net/qq_27552579/article/details/104056706

版权

本文介绍了如何使用Flink从Kafka读取数据，并将其Sink到MySQL和HBase数据库中。通过自定义MysqlSink和HBaseSink类，实现了数据的实时写入。示例展示了在发送数据到Kafka后，MySQL和HBase数据库中的存储结果。

摘要由CSDN通过智能技术生成

Flink读取Kafka数据Sink到MySQL和HBase数据库
Flink将流数据Sink到数据库，一般需要自己自定义Sink的实现。下面示例，演示Sink到MySQL和HBase示例。在这里插入代码片

maven依赖

 <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.9.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.9.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.10 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.10_2.11</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.2.2</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.48