关于flink1.11 flink sql使用cdc时区差8小时问题

最新推荐文章于 2024-05-10 11:41:22 发布
最新推荐文章于 2024-05-10 11:41:22 发布
阅读量6.4k 收藏 2
点赞数
分类专栏： flink sql 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44762298/article/details/110198809
版权

在连接参数中设置 ‘server-time-zone’ = ‘Asia/Shanghai’
比如：WITH (
‘connector’ = ‘mysql-cdc’,
‘hostname’ = ‘xxx’,
‘port’ = ‘3306’,
‘username’ = ‘root’,
‘password’ = ‘root’,
‘database-name’ = ‘xxx’,
‘table-name’ = ‘xxx’,
‘server-time-zone’ = ‘Asia/Shanghai’
不设置的话可能会改变MySQL中时间字段比如datetime减8小时

在sql语句中使用LOCALTIMESTAMP或者手动给时间戳加8小时而不要用current_date等
效果如图：在这里插入图片描述
目前1.11.1版本是这样，后续版本未测试

补充：如果要sink到MySQL的话，在url后加&serverTimezone=Asia/Shanghai 否则时区也会对不上

Zhikuan53
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案
一杯咖啡半杯糖的博客
09-14 2388
​ 1、背景： 在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下 FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18，而数据库中原始数据如下，并没有到下午5点，这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况，与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不
FLINK1.11.zip
11-16
本文将深入探讨FLINK 1.11的关键特性、兼容性以及如何在CDH环境下进行部署和使用。 首先，FLINK 1.11引入了多个关键改进，包括对状态管理的优化、SQL支持的增强以及与Kafka的集成。状态管理的优化使得在大规模流...
flink-1.12-sql-demo:基于flink1.12，使用java，flink sql的demo，包含Mylsql，flinkcdc内置的Mysqlcdc
03-28
flink1.12.1 sql演示 个人练习flink的演示。 代码里自带数据生成，附带合适的数据演示。 pom.xml包含了flink绝大部分的依赖，maven下载会比较久。 目前项目内容包含了 环境 Windows 10 ltsc 的Mysql8.0.23 Idea社区版2020.3 海地SQL 环境建设教程： ://www.cnblogs.com/abramgyb/p/14587901.html 流集 使用streamset api编写flink程序 FlinkSQL flink sql api编程程序，实现ETL功能，包含读写Mysql，kafka 源Mysql MysqlCDC 下沉Mysql 使用说明 克隆仓库：git clone 使用idea打开项目 maven下载相关依赖 依赖下载完成后运行demo测试
flink cdc，读取datetime类型
最新发布
m0_57320261的博客
05-10 1209
需要注意的是，如果您使用的是Flink 1.13或以上版本，可以直接使用Flink的内置Debezium插件来实现CDC任务，无需安装其他插件。Flink CDC读取MySQL的datetime类型时会转换为时间戳的问题，可以通过在Flink CDC任务中添加相应的转换器来解决。- 使用 Flink DataStream API：如果你更喜欢使用 Flink DataStream API，可以通过创建 CDCSourceFunction 并配置相应的参数来创建 Flink CDC 数据源。
Java 读取mysql时间timestamp差8小时问题
热门推荐
明明哥的博客
07-30 1万+
再写数据库同步时，遇到Java读取主数据库存入从库时，时间不一致。
flink-cdc-mysql The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match
qq_42437926的博客
02-06 5923
报错信息 MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.接下来就可以正常链接了。
flink-mysql-cdc读取mysql timestamp时间戳数据类型时区异常问题
Tango小黄的博客
08-03 5420
flink-mysql-cdc读取mysql timestamp时间戳数据类型存在时区异常问题，可以通过添加flink配置解决
window 环境测试flink cdc,mysql Time zone 报错
Rocky
09-24 1113
mysql,Flink cdc
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
本话题将详细讲解如何利用Flink的SQL Server Change Data Capture (CDC) 连接器版本2.3.0，将SQL Server中的数据实时同步到MySQL数据库。 首先，让我们了解什么是CDC。CDC是一种数据库技术，它能够捕获数据库中的...
Flink1.11中文文档
01-11
Flink 1.11 中文文档 Flink 是一个开源的分布式处理引擎，用于实时处理大规模数据流。Apache Flink 1.11 是 Flink 的一个...Flink 1.11 中文文档提供了非常详细的介绍和指导，帮助用户快速掌握 Flink 的使用和应用。
flink1.11写入ES7.10完整代码（JAVA程序实现）
04-11
在本文中，我们将深入探讨如何使用Apache Flink 1.11版本将数据写入Elasticsearch (ES) 7.10。Flink是一个强大的流处理和批处理框架，而Elasticsearch则是一个实时的分布式搜索和分析引擎，常用于大数据的存储和检索...
flinksql 中使用 处理时间时， 时区差八个小时的问题 （在 flink 1.13 以后不会在出现时区问题了）
zuixue_lei的博客
11-17 4680
使用事件时间进行开窗时，需要事件进行触发，比如开一个小时的窗口，在 2:15 分有数据过来，下一条数据在 3:15 分到达，那么窗口将会在 3:15 触发计算，输出 2：00 - 3:00 这个时间段内的统计数据，create_time 也是 3:15。很明显这种情况与实际不同。
Flink DataStream API （二） Time 与Window
嘻哈吼嘿呵的博客
10-23 169
一、Time 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述， 例如采集的日志数据中，每一条日志都会记录自己的生成时间， Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统...
实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
WuBoooo的博客
10-18 4592
实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
FlinkSQL 时区问题
ChengYanan的博客
10-31 5453
问题： 近期发现 Flink 的 Blink Planner 在 DATE_FORMAT 对 CURRENT_TIMESTAMP 做时间格式化为字符串时，默认以 UTC+0 为准。 长期以来，TableConfig 类里面有一个 setLocalTimeZone 方法；将其设置为东八区以后，发现格式化后的字符串仍然是 UTC+0 的。而深入来看，Flink 的时间格式化时的代码生成逻辑（time.scala）并未考虑时区的设置。 由于大多数用户的时区均不是 UTC+0（GMT、UTC），如果时间格式化、显示
FLinkCDC读取MySQl中的日期问题
YPeiQi的博客
04-20 1820
在通过FlinkCDC读取MySQL的BinLog日志的时候，发现读取到日期类型的数据和数据库中存储的相差八小时。flink版本：1.15.1，MySQLCDC版本：2.3.0如下图。自定义时间转换配置。
FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决
csdn_lan的博客
05-10 1455
使用FlinkCDC进行数据同步时，出现增量阶段写入并行度强制为1导致整体同步性能无法提升问题的解决方案
flink cdc DataStream api 时区问题
hellowangxiansheng的博客
04-13 1605
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ，时区是写死的无法更改，* 导致数据库中设置的UTC+8，到kafka中变成了多八个小时的long型时间戳* Debezium默认将MySQL中的timestamp类型转成UTC的字符串。
flink1.11中使用 SQL 创建Kafka Connector 时 如何通过SQL配置获取kafka消息日志时间
05-26
在 Flink 1.11 中，您可以使用以下 SQL 语句创建一个 Kafka 连接器并从 Kafka 主题中读取数据： ``` CREATE TABLE kafka_table ( field1 TYPE1, field2 TYPE2, ... ) WITH ( 'connector' = 'kafka', 'topic' = '<topic>', 'properties.bootstrap.servers' = '<bootstrap_servers>', 'scan.startup.mode' = 'earliest-offset' ); ``` 要从 Kafka 消息中获取时间戳，可以在 Kafka 主题中包含时间戳。在创建 Kafka 主题时，您可以选择在消息中包含时间戳。如果您在消息中包含了时间戳，您可以使用 Flink 的 `TIMESTAMP` 类型将其解析为时间戳。例如： ``` CREATE TABLE kafka_table ( field1 TYPE1, field2 TYPE2, ts TIMESTAMP(3), WATERMARK FOR ts AS ts - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = '<topic>', 'properties.bootstrap.servers' = '<bootstrap_servers>', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json', 'json.timestamp-format.standard' = 'ISO-8601' ); ``` 在上面的示例中，我们假设 JSON 消息包含一个名为 `ts` 的字段，该字段包含一个 ISO 8601 格式的时间戳。我们使用 `FORMAT=json` 和 `json.timestamp-format.standard=ISO-8601` 配置 Flink 以解析 JSON 消息。然后，我们使用 `TIMESTAMP(3)` 类型为 `ts` 字段指定时间戳类型，并将其用作水印生成器（在此示例中，我们将水印设置为事件时间减去5秒）。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值