flink cdc 2.0.2 针对mysql Date类型数据的解决思路

最新推荐文章于 2024-04-13 06:36:08 发布
最新推荐文章于 2024-04-13 06:36:08 发布
阅读量9.1k 收藏 19
点赞数 9
分类专栏： Flink CDC 文章标签： mysql flink Flink cdc flink cdc 2.0.2 Flink cdc Date
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/121246900
版权

1，实践了flink cdc 的小伙伴肯定会遇到时间字段的问题，以mysql作为数据源为案例
我们读取的数据为Date类型

实际打印写入doris之后发现是：

2，在社区里询问通过issues了解到

Flink-CDC 在同步字段为timestamp类型的数据时，初始化数据和增量数据时区不一致 · Issue #317 · ververica/flink-cdc-connectors · GitHub

 从这里我找到了自己想要的信息：

3，我们找到 RowDataDebeziumDeserializeSchema类：

 就是参考类似的思想，然后转换。

4，我们从mysql读取的Date类型的数据变成

这些数字是啥呢&#x

最低0.47元/天 解锁文章
黄瓜炖啤酒鸭
关注
  • 9
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
mysql和flink_11-flink读写MySQL
weixin_42396285的博客
02-18 410
一、读MySQL1、通过JDBC方式定义MySQLDataSource类1.1首先加入JDBC依赖1.2定义JDBCInputFormat1.3获取Row类型的DataStreamSource1.4转化DataStream为DataStreampublic class MysqlDataSource {private static final Logger log = LoggerFactory....
Flink CDC实时同步PG数据库_flink cdc pg(2)，2024年最新997页字节跳动大数据开发面试真题解析火爆全网
最新发布
2401_84160272的博客
04-13 649
/ 日期格式转换时区@Override// 1. 创建一个JSONObject用来存放最终封装好的数据// 2. 解析主键// 3. 解析值//将数据封装到JSONObject中架构名 看是否需要//将数据发送至下游val = null;return val;return val;@Override。
FLinkCDC读取MySQl中的日期问题
YPeiQi的博客
04-20 1797
在通过FlinkCDC读取MySQL的BinLog日志的时候，发现读取到日期类型的数据和数据库中存储的相差八小时。flink版本：1.15.1，MySQLCDC版本：2.3.0如下图。自定义时间转换配置。
flink sql写mysql类型转换
sanhongbo的博客
09-26 1968
DECIMAL（m,n）使用 n为小数部分位数，m为整数+小数位数 flink sql 写入字段使用mysql默认值 mysql字段类型为int值，默认值为null flink sql中可使用cast(’’ as int) ，进行类型转换
FlinkSQL 实现kafka2mysql
eyeofeagle的博客
06-21 391
【代码】FlinkSQL 实现kafka2mysql。
flink-cdc 同步mysql数据到ES时间格式问题。
wchao111111的博客
03-02 4925
flink-cdc 同步mysql数据到ES，时间格式的处理非常蛋疼的一件事。 首先ES的标准时间格式是yyyy-MM-ddTHH:mm:ss.SSSZ时间精度是毫秒也就是TABLE中对应的TIMESTAMP_LTZ(3),
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
基于Flink CDC使用datastream方式全量增量同步mysql to mysql
03-04
基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
【时区】Flink JDBC 和CDC时间字段时区 测试及时间基准
lisacumt的专栏
09-28 2096
Flink JDBC 和CDC时间字段时区 测试及时间基准
Flink 自定义udf 一 时间转换类
文报的博客
01-24 3030
这个是一个批处理的小demo，数据源是mysql 连接代码: JDBCInputFormat productStoreChangeRecordFormat = JDBCInputFormat.buildJDBCInputFormat() .setDrivername("") .setDBUrl("") ...
Flink CDC 读取MySQL Decimal类型字符串处理
weixin_44949125的博客
07-03 591
修改MySqlSource的反序列化。
Flink -sql - mysql数据同步版本二
wudonglianga的专栏
08-26 723
1. 通过Flink Sql 将mysql 的数据同步到Mysql 中 套路 官网示例： // create a TableEnvironment for batch or streaming execution TableEnvironment tableEnv = ...; // see "Create a TableEnvironment" section // create an input Table tableEnv.executeSql("CREATE TEMPORARY TABLE
【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
一杯咖啡半杯糖的博客
12-14 1268
[ERROR] Could not execute SQL statement. Reason: java.lang.ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
flinkCdc的mysql配置及java测试代码
shy_snow的专栏
02-21 6051
测试使用的是flinkCdc2.1.1版本(无锁同步,1.x版本有同步锁)目前支持mysql5.7及以上版本; 要在mysql.cnf中配置开启开启mysql的bin-log日志, log_bin=mysql-bin binlog_format=ROW 并且只支持ROW格式，其他mixed和statement会报错如果想配置控制binlog日志的范围,在数据库范围可以使用mysql的binlog-do-db和binlog-ignore-db,表级别可以使用replicate_wild_do_t.
Debezium系列之：安装部署debezium2.0以上版本的详细步骤
zhengzaifeidelushang的博客
12-06 913
Debezium系列之：安装部署debezium2.0以上版本的详细步骤
基于FlinkCDC2.0+Flink SQL的实时采集与ETL解决方案
大数据研习社
03-22 5667
基于FlinkCDC2.0+Flink SQL的实时采集与ETL解决方案
【flink cdc】flink读mysql写clickhouse
jomplte博客
12-12 986
1. 使用flink cdc 读mysql 写clickhouse 2. clickhouse使用CollapsingMergeTree sign 1 is a “state” row, -1 is a “cancel” row. 3. 解决时间差8个小时问题
flink cdc 读取mysql 数据
09-15
Flink CDC是Flink社区开发的一个组件，可以实现从MySQL等数据库读取全量数据和增量变更数据的功能。使用Flink CDC读取MySQL数据的步骤如下： 1. 首先，你需要在Flink应用程序中引入Flink CDC的依赖。 2. 然后，配置Flink CDC的连接信息，包括数据库的地址、用户名、密码等。 3. 创建一个Flink CDC的source，指定要读取的表名和字段信息。 4. 将Flink CDC的source添加到Flink的数据流中。 5. 最后，你可以对读取到的数据进行相应的处理和分析。 通过以上步骤，你就可以使用Flink CDC来读取MySQL的数据了。需要注意的是，你需要根据具体的业务需求进行配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值