debezium抽取mysql timestamp和datetime类型值是“0000-00-00 00:00:00”

已于 2022-12-01 13:40:53 修改
阅读量1k 收藏
点赞数 1
分类专栏： Debezium(CDC) 文章标签： mysql java 数据库
于 2022-12-01 11:27:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiqian1989/article/details/128127213
版权

Debezium 抽取mysql的timestamp和datetime类型值是“0000-00-00 00:00:00”到kafka中是什么样

mysql的timestamp类型和datetime类型在用debezium做数据抽取时总会有一系列的问题，本文主要根据如下几种情况分在快照阶段和cdc阶段，实测一下 0000-00-00 00:00:00值通过debezium抓取到kafka的topic中值变成了什么？

先说结论

  1. 字段允许为空且不显式指定default值：在快照阶段0000-00-00 00:00:00抽取到kafka topic中，datetime和timestamp值都为NULL；在CDC阶段datetime值是NULL, timestamp值是1970-01-01T00:00:00Z
  2. 字段允许为空且显式指定defalut值：在快照阶段0000-00-00 00:00:00抽取到kafka topic中，datetime值为0,timestamp值都为NULL；在CDC阶段datetime值是0, timestamp值是1970-01-01T00:00:00Z
  3. 字段不允许为空，显式指定default值：快照阶段和CDC阶段抽取到topic的值是一样的，datetime为0,timestamp值为1970-01-01T00:00:00Z
了解本专栏 订阅专栏 解锁全文 超级会员免费看
yiqian1989
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式
Laurence的技术博客
04-26 621
不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector)，在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时，都会遇到 DataTime / Timpstamp 类型的转换问题，即：原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式，但是，转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间)，这带来的问题是：下游表基于 Json 数
数仓实时数据同步debezium实践踩坑
qq_39860344的博客
09-01 1531
数仓实时数据同步debezium实践踩坑 在mysql的测试过程中 日期解析报错。因为mysql的日期时间可以随便写，而java必须是1970-01-01 00:00:00及以后的。生产上很多默认写的0000-01-01 01:01:01。需要修改源码匹配无效时间全部改为1970-01-01 00:00:00。 时区差异，内部转换写死使用的utc，无法更改。并且datetime被选为timestamp数值,timestamp被转为timestamp_with_zone字符串,time被转为微秒数，date
debezium-datetime-converter:Debezium自定义转换器用于处理mysql datetime类型的问题
03-15
debezium-datetime-converter Debezium自定义转换器用于处理mysql datetime类型的问题 MySQL的 Binlog连接器 德比兹 德比兹图式 日期（2021-01-28） 本地日期（2021-01-28） 整数（18655） 碘化氢时间日期 时间（17:29:04） 期间（PT17H29M4S） 长（62944000000） （（持续时间）数据）.toNanos（）/ 1_000 时间戳记（2021-01-28 17:29:04） ZonedDateTime （2021-01-28T09：29：04Z） 细绳（2021-01-28T09：29：04Z） io.debezium.ZoneedTimestamp 约会时间（2021-01-28 17:29:04） LocalDateTime （2021-01-28T17：29
一文搞懂 MySQL、debezium 和 ElasticSearch 的时间格式
爱丹丹的博客
09-19 470
最近在使用 FlinkCDC 做 MySQL 到 ElasticSearch 的数据同步，在数据同步的过程中遇到了一些关于日期类型的问题，在这里整理总结一下。
debezium 最佳参数实践v1
一名数据库爱好者的专栏
07-24 224
【代码】debezium 最佳参数实践。
Debezium系列之：开发代码支持时间戳转换成指定时间格式
zhengzaifeidelushang的博客
12-28 1032
Debezium系列之：开发代码支持时间戳转换成指定时间格式
Debezium日常分享系列之：Debezium2.5稳定版本之数据类型映射
最新发布
zhengzaifeidelushang的博客
03-21 1783
Debezium MySQL 连接器表示对带有事件的行的更改，这些事件的结构类似于该行所在的表。该事件包含每个列值的字段。该列的 MySQL 数据类型决定 Debezium 如何表示事件中的值。MySQL 中使用字符集和排序规则定义存储字符串的列。MySQL 连接器在读取二进制日志事件中列值的二进制表示形式时使用列的字符集。连接器可以将 MySQL 数据类型映射到文字类型和语义类型。如果默认的数据类型转换不能满足您的需求，您可以为连接器创建自定义转换器。
mysql的timestamp类型字段为'0000-00-00 00:00:00'导致mybatis映射时报错解决方法
04-26
5. **数据库表结构修改**：如果可能，可以考虑将`TIMESTAMP`字段改为`DATETIME`类型，因为`DATETIME`允许'0000-00-00 00:00:00'作为有效值，但请注意，这可能影响到其他依赖于数据类型的行为。 在处理这个问题时，...
探讨:sql插入空,默认1900-01-01 00:00:00.000的解决方法详解
12-15
在SQL Server中，当我们在一个定义为`datetime`类型的字段中尝试插入空值或空白字符串时，系统通常会默认填充1900-01-01 00:00:00.000作为日期时间值。这是因为`datetime`类型不接受空值（NULL），如果未提供有效值...
Java里得到00:00:00格式的时分秒的Timestamp
09-05
在Java编程语言中，`Timestamp` 是一个用于表示日期和时间的类，它继承自 `java.util.Date` 类。在特定场景中，我们可能需要获取一个表示一天开始时刻的 `Timestamp`，即“00:00:00”（午夜）。下面将详细介绍如何在...
Mysql中的Datetime和Timestamp比较
09-10
MySQL数据库系统中，时间数据类型是用来存储日期和时间值的，其中包括`DATE`、`DATETIME`和`TIMESTAMP`。这些类型在某些方面相似，但在其他方面却有着明显的区别。下面将详细介绍`DATETIME`和`TIMESTAMP`的比较，并...
datetime 时间类型处理
mywpython的博客
07-05 167
Debezium同步之处理MySQL数据库的timestamp的坑
Auspicious航的博客
04-11 812
1、修改mysql服务端的 my.ini 文件，加入时区设置 default-time_zone='+8:00' 即可，重启 MySQL 服务生效。使用 Debezium 连接 Windows操作系统的MySQL数据进行抽取数据 需要提前在MySQL数据库的配置文件中，加入时区设置。这就导致了，我的 timestamp 类型的 create_time 差了 8 个小时。但是实际上，配置了中国时区后，时间会变成格林威治时间，也就是英国 London 时间。官网上面说，需要设定时区，才能正确解析。
kafka-connect mysql debeziem时区问题，时间格式化，时间转换
weixin_40747900的博客
03-04 3550
使用功能debeziem的kafka-connect-mysql进行抽取数据时，对于时间字段 date,dateTIme，默认是将字段的值转成时间戳。这样某些情况可能不符合需求。 可以使用TimestampConverter进行时间格式转换。 "transforms.tsFormat1.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value", "transforms.tsFormat1.target.type": "
Debezium系列之：详细介绍实现时间字段时区转换的方式
zhengzaifeidelushang的博客
11-25 394
Debezium系列之：详细介绍实现时间字段时区转换的方式
Debezium报错处理系列之九十三：设置东八区时区报错Invalid timezone format. Please specify either a geographic timezone
zhengzaifeidelushang的博客
09-19 168
Debezium报错处理系列之九十三：Caused by: io.debezium.DebeziumException: Invalid timezone format. Please specify either a geographic timezone e.g. America/Los_Angeles or a UTC
debezium获取mysql binlog通过kafka实现mysql同步
pioneer的博客
08-22 3110
目标是实现mysql通过binlog的同步 安装confluent 下载地址地址 解压tar -zxvf confluent-5.1.2-2.11.tar.gz 进入到confluent中 快速启动 ZooKeeper,Kafka,Schema Registry,Control Center,Kafka Connect,Kafka REST Proxy,KSQL。 ./bin/conflue...
flink - debezium 采集pg库表日期数据（字段类型：date/varchar）踩坑笔记
a123147abc的博客
02-09 1889
debezium 采集pg库表日期数据（字段类型：date/varchar） 表结构1 ： CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL ) 表结构2 ： CREATE TABLE date_test ( wh
Mysql 数据库 timestamp为什么会出现 0000-00-00 00:00:00
01-12
根据提供的引用内容，MySQL数据库中的timestamp字段出现"0000-00-00 00:00:00"的原因是在设计阶段和记录写入阶段没有进行逻辑判断，导致了这类值的写入。如果在设计阶段和记录写入阶段能够做好逻辑判断，避免写入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yiqian1989

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值