mysql数据导入到clickhouse数据长度超长，clickhouse的Int长度

最新推荐文章于 2024-12-01 08:35:05 发布

刘乘九

最新推荐文章于 2024-12-01 08:35:05 发布

阅读量1.3k

点赞数

分类专栏：踩坑记录

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_39877754/article/details/116857386

版权

踩坑记录专栏收录该内容

14 篇文章 0 订阅

订阅专栏

在数据量从百万激增至十几亿后，原有MySQL到ClickHouse的数据同步出现唯一ID变为负数的问题。原因是MySQL的bigint20字段在导入ClickHouse的Int32字段时超出范围。MySQL的bigint20可存储从-10^19到10^19-1的数，而ClickHouse的Int32则在-2^31到2^31之间。解决办法是扩大ClickHouse字段长度，最终成功解决了问题。

摘要由CSDN通过智能技术生成

概要

mysql的bigint20长度是十进制的，clickhouse的Int32的长度是二进制的。 $\LARGE 10^{20} > 2^{32}$

背景

因为当前公司的数据量从百万每天陡增到十几亿，所以之前老的数据处理程序承载不下，重新搭建了一套新的大数据架构。在给公司从0到1搭建数据集群的过程中，有一个需求需要定时将一个MySQL的表更新导入到clickhouse中。结果发现唯一ID在导入过程中变成了负数。对于这个字段的定义中：
mysql 是bigint20

clickhouse 是Int32

看上去clickhouse这个字段占用的空间大于mysql中的定义长度，不应该出现数据超长乱码的问题。

原因：

mysql 的bigint20 的数据范围是 $-1 * 10^{19} ------- 10^{19} -1$ （-10000000000000000000 到 10000000000000000000 -1）

clickhouse的Int32的数据范围是 $-1 * 2^{31} ------------ 2^{31}-1$ （-2147483647 到 2147483648）

解决方案

将clickhouse的字段长度增大

结果

成功解决问题

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。