【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

最新推荐文章于 2024-11-26 17:07:16 发布
最新推荐文章于 2024-11-26 17:07:16 发布
阅读量3k 收藏 1
点赞数
分类专栏： Flink实战 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/132875276
版权
1、背景：

在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下

FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18

 而数据库中原始数据如下，并没有到下午5点，这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况，与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不行的

2、 产生这种情况的原因是什么呢?

FlinkCDC底层为Debezium，而Debezium默认将MySQL中datetime类型转成UTC的时间戳,底层的 Debezium 并没有实现 serverTimeZone 的配置，时区是写死的无法更改，导致数据库中设置的UTC+8到了FlinkCDC读取出来相差了8个小时

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据】Flink CDC 实时同步mysql数据
congge
10-07 1万+
Flink CDC 实时同步mysql数据
FlinkCDC系列-MySQL-timestamp 字段时区相差8小时，怎么回事呢？
qq_33705071的博客
08-07 207
FlinkCDC系列-MySQL-timestamp 字段时区相差8小时，怎么回事呢？
关于flink1.11 flink sql使用cdc时区差8小时问题
weixin_44762298的博客
11-26 6839
在连接参数中设置 ‘server-time-zone’ = ‘Asia/Shanghai’ 比如：WITH ( ‘connector’ = ‘mysql-cdc’, ‘hostname’ = ‘xxx’, ‘port’ = ‘3306’, ‘username’ = ‘root’, ‘password’ = ‘root’, ‘database-name’ = ‘xxx’, ‘table-name’ = ‘xxx’, ‘server-time-zone’ = ‘Asia/Shanghai’ 不设置的话可能会改变
Flink cdc同步增量数据timestamp字段相差八小时（分析｜解决）不是粘贴复制的！
最新发布
偶尔写些东西，意思一下我也参与了内卷
11-26 696
关于序列化，flink有一个官方的序列化器，是debezium的，你只需要在这个方法里面手动修改时区就可以了！注意：你要观察下按照你的环境版本timestamp字段映射的对象类型是不是!!!.build();// 关键代码在这里！！！！！！！！！//这里！这里！！这里！！！（这是官方的，用上面的源码自己修改完填你的全路径）// timestamp没用。。。//全局读写锁，可能会影响在线业务，跳过锁设置。
关于flinkCDC监听MySQL binlog时自动转换datetime为时间戳问题
波舅子的博客
11-06 417
即：在MySQL中，FinishTime的数据类型为datetime，数据格式例如：2024-09-25 17:54:02。DateTimeConverter实现CustomConverter接口，重写对应方法对mysql的时间类型进行标准转换。可以看见，2024-09-25 17:54:02 格式被转为了时间戳格式：1727286842000。
实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
WuBoooo的博客
10-18 5230
实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
flink cdc DataStream api 时区问题
hellowangxiansheng的博客
04-13 1895
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ，时区是写死的无法更改，* 导致数据库中设置的UTC+8，到kafka中变成了多八个小时的long型时间戳* Debezium默认将MySQL中的timestamp类型转成UTC的字符串。
flinksql 中使用 处理时间时， 时区差八个小时的问题 （在 flink 1.13 以后不会在出现时区问题了）
zuixue_lei的博客
11-17 5357
使用事件时间进行开窗时，需要事件进行触发，比如开一个小时的窗口，在 2:15 分有数据过来，下一条数据在 3:15 分到达，那么窗口将会在 3:15 触发计算，输出 2：00 - 3:00 这个时间段内的统计数据，create_time 也是 3:15。很明显这种情况与实际不同。
解决flink cdc 时间相差8小时问题
java技术分享
10-12 568
说明：由于flink cdc底层使用的是debezium本质问题是debezium 使用的时区写死了UTC.如下图。2、直接修改debezium源码，重新打包。从根本上解决问题，经测试兼容mysql,PG 一下是我修改的源码。1、本次使用的是flink-sql-connector-mysql-cdc-3.1.1.jar 测试。如果各位时间不一样可以按照自己的方式修改。3、然后重新打包flink-cdc。
FLinkCDC读取MySQl时间戳时区相关问题解决汇总
延宝小白马的博客
07-30 1405
FlinkCDC时间问题timestamp等 FLinkCDC读取MySQl中的日期问题 关于flink1.11 flink sql使用cdc时区差8小时问题 flinksql 中使用 处理时间时， 时区差八个小时的问题 （在 flink 1.13 以后不会在出现时区问题了）flink cdc同步MySQL-->MySQL，时间少了13个小时 实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
04-05
在这个场景下，我们将深入探讨如何使用Flink CDC来监测MySQL数据库，并且实现自定义反序列化，以及如何通过Flink API和Flink SQL两种方式进行数据处理。 首先，让我们理解什么是CDC。CDC是一种数据库复制技术，它...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程
10-26
在构建实时数据仓库的过程中，Flink、FlinkCDC、FlinkSQL和Clickhouse这四个关键技术起着至关重要的作用。本文将深入探讨这些技术，并结合2022年新课中的内容，详细介绍如何利用它们构建高效的实时数据处理系统。 ...
FlinkCDC 实现 MySQL 数据变更实时同步
保持学习
10-17 2196
Flink CDC 是 Apache Flink 提供的一个功能强大的组件，用于实时捕获和处理数据库中的数据变更。FlinkSQLFlink DataStream 和 Table API（本文使用该方式）
Java/scala使用内置嵌入式embedded debezium全量和增量同步Mysql binlog数据
Bulut0907
07-25 4748
目录1. 背景2. 添加依赖3. 同步代码 1. 背景 Debezium通常基于Kafka启动一个Kafka Connect服务，之后可以向Debezium提交Mysql、PostgresSQL等connector任务进行同步数据，数据被保存到Kafka中。分布式的Kafka Connect服务能提供容错性和可拓展性 但是我们有时不想部署一套Kafka集群和Debezium的Kafka Connect服务。而是通过一种更轻量级的方式，将Debezium的Mysql、PostgresSQL等connector
Debezium同步之处理MySQL数据库的timestamp的坑
Auspicious航的博客
04-11 1002
1、修改mysql服务端的 my.ini 文件，加入时区设置 default-time_zone='+8:00' 即可，重启 MySQL 服务生效。使用 Debezium 连接 Windows操作系统的MySQL数据进行抽取数据 需要提前在MySQL数据库的配置文件中，加入时区设置。这就导致了，我的 timestamp 类型的 create_time 差了 8 个小时。但是实际上，配置了中国时区后，时间会变成格林威治时间，也就是英国 London 时间。官网上面说，需要设定时区，才能正确解析。
在k8s 中搭建flink，解决Flink输出日志中时间比当前时间晚8个小时的问题
安冉
06-01 1245
在k8s 中搭建flink 即使把pod时区时间修改为与服务器一致的时间，flink时间仍然不对 需要修改配置文件flink-conf.yaml
使用kafka connect结合debezium的方式采集oracle数据，日期类型时区问题处理
雾岛与鲸的博客
04-26 4781
环境配置: 1、kafka 2.8.0 2、debezium 1.9.0 3、oracle 11g 使用kafka connect结合debezium的方式采集oracle数据, 参考我的上篇文章 https://blog.csdn.net/qq_36039236/article/details/124236918?spm=1001.2014.3001.5501 本篇主要解决使用 debezium 采集数据过程中，日期类型的数据比正常时间多8个小时的问题，废话少说，直接上干货。 我的解决办法是直接调整 de
flink sink mysql 时区问题
weixin_39572380的博客
01-14 1595
flink sql sink mysql 时区问题 以下是flink sql sink mysql 参数 官网参数中是没有时区相关配置，另一种jdbc连参数配置的方式就是url中，所以在url中添加&serverTimezone=Asia/Shanghai即可
flinkcdc获取mysql主键信息
07-22
您可以使用 Flink CDC（Change Data Capture）来获取 MySQL 数据库的主键信息。Flink CDC 是一种用于将数据库中的变更数据流实时捕获并传输到其他系统的工具。它可以通过监视 MySQL 数据库的 binlog 来实现数据的实时捕获和同步。 要获取 MySQL 主键信息，您可以按照以下步骤操作： 1. 首先，确保您已经安装了 Flink 和 Flink CDC，并且已经正确配置了 MySQL 数据库的连接。 2. 创建一个 Flink CDC 的源表，用于从 MySQL 数据库中捕获变更数据。例如，您可以使用以下代码创建一个源表： ```java TableEnvironment tableEnv = ...; // 获取 TableEnvironment 实例 String sourceDDL = "CREATE TABLE mysql_source (\n" + " id INT,\n" + " name STRING,\n" + " PRIMARY KEY (id) NOT ENFORCED\n" + ") WITH (\n" + " 'connector' = 'mysql-cdc',\n" + " 'hostname' = 'localhost',\n" + " 'port' = '3306',\n" + " 'username' = 'root',\n" + " 'password' = 'password',\n" + " 'database-name' = 'your_database',\n" + " 'table-name' = 'your_table'\n" + ")"; tableEnv.executeSql(sourceDDL); ``` 请根据实际情况修改上述代码中的连接信息和表名。 3. 使用 Flink 的 Table API 或 SQL 查询来获取主键信息。例如，您可以使用以下代码查询主键信息： ```java Table resultTable = tableEnv.sqlQuery("SHOW KEYS FROM mysql_source WHERE Key_name = 'PRIMARY'"); // 将 Table 转换为 DataStream 或其他形式进行进一步处理 DataStream<Row> resultStream = tableEnv.toAppendStream(resultTable, Row.class); ``` 上述代码中的查询语句使用了 MySQL 的 `SHOW KEYS` 语句来获取主键信息，并通过 Flink 的 Table API 将结果转换为 DataStream 进行进一步处理。 这样，您就可以使用 Flink CDC 获取 MySQL 数据库的主键信息了。请注意，以上代码仅为示例，您需要根据实际情况进行修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值