flink cdc数据同步，DataStream方式和SQL方式的简单使用

最新推荐文章于 2024-12-12 22:35:06 发布

xiaobug呀

最新推荐文章于 2024-12-12 22:35:06 发布

阅读量4.4k

点赞数

文章标签：数据库 java flink

本文链接：https://blog.csdn.net/xiaobug_zs/article/details/130340406

版权

flinkcdc是一个用于从MySQL、PostgreSQL等数据库中实时捕获全量和增量数据变更的组件。它提供低延迟和高吞吐的特性，适合实时监控数据库变化。文章介绍了如何使用flinkcdc读取txt文本数据，通过DataStream和SQL方式处理数据库变更，并强调了其在数据一致性保障上的重要性。

摘要由CSDN通过智能技术生成

1、使用flink cdc读取txt文本数据

2、DataStream的使用方式

3、SQL的方式

总结

一、flink cdc介绍

1、什么是flink cdc

flink cdc是一个由阿里研发的，一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。

2、flink cdc能用来做什么

flink cdc能感知数据库的所有修改、新增、删除操作，并以流的形式，进行实时的触发和反馈。如：你想监听一个表的数据是否有变动，并且需要把变动的数据读取出来，插入到另外的表里，或者对该数据进行其他处理。在我们传统的开发里，如果不使用cdc技术，是不是就只能通过定时任务去定时的获取数据？或者在执行数据修改操作时调用指定的接口来进行数据上报？并且还要拿新数据和旧数据进行比较，才能得到自己想要的结果？flink cdc就是解决这种问题的，它是cdc里面的佼佼者，它能在数据表被修改时，进行实时的反馈。

3、flink cdc的优点

① 低延迟：毫秒级的延迟

② 高吞吐：每秒能处理数百万个事件

③ 高可用及结果的准确性、良好的容错性，动态扩展、全天候24小时运行

二、flink cdc基础使用

1、使用flink cdc读取txt文本数据

① 项目目录

② 需要用到的flink依赖（有些可以不用的，看实际需要使用哪些功能）：

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.13.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.13.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.13.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_2.12</artifactId>
            <version>1.13.0</version>
        </dependency>
        <dependency&

最低0.47元/天解锁文章