clickhouse 同步mysql_疫情期间，写了个 MySQL 同步到 ClickHouse 的小工具。

最新推荐文章于 2024-05-21 11:07:05 发布
最新推荐文章于 2024-05-21 11:07:05 发布
阅读量411 收藏 2
点赞数
文章标签： clickhouse 同步mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39686634/article/details/111745447
版权

因工作需要，调研了很多 OLAP 系统，像 Druid、Presto、Kylin、ClickHouse 等，最终选定了 ClickHouse，其优点：快、安装简单、依赖少。

于是开启了踩坑之旅。

网上搜了很多从 MySQL 同步数据到 ClickHouse 的工具，好吧，确实很少，推荐最多的是https://github.com/Altinity/clickhouse-mysql-data-reader，无奈其不支持更新和删除，遂弃之；

找到了阿里开源的 canal，搭建了半天，先用 docker 死活搭建不成功，貌似里面启动了一个 MySQL 服务器，我本机也搭了个，冲突了，服！于是下载安装，可算装上了，一番配置过后，参考http://www.wuzhq.com/2019/12/16/mysql2clickhouse/这篇文章，结果同步报错，貌似语法解析错误什么的，弃之；

然后找到了https://github.com/yymysql/mysql-clickhouse-replication，原理是解析 MySQL binlog 同步，clone 下来一番修补总算是可以用上了。无奈其只支持 python2，代码也比较冗长，介于实在是无工具可用，于是打算对此重新改造。

基于 mysql-clickhouse-replication 修改优化，增加命令行操作，打包上传至 pypi，增加 python3&pypy3 支持。

只需要一行命令：mysql2ch --log-pos-to=file，你就可以享受从 MySQL 到 ClickHouse 的同步快感。

顺便推荐一个 BI 工具，metabase，配合 ClickHouse，你就可以对你的数据，想怎么玩儿，就怎么玩~

weixin_39686634
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
docker使用Canal实现ClickHouse实时同步MySQL数据
05-09
docker使用Canal实现ClickHouse实时同步MySQL数据
mysql历史数据同步到clickhouse 已测试
06-22
综上所述，将MySQL历史数据同步到ClickHouse涉及到多个步骤，包括选择合适的同步方法、优化数据模型、考虑性能和一致性，并进行维护和监控。这个过程中，合理规划和细致操作是确保数据迁移成功的关键。通过上述知识...
Flink 如何读取和写入 Clickhouse？
Ververica的博客
08-18 7037
本文将主要介绍Flink 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题：Flink读写Clickhouse支持哪个版本？ClickHouse读写Cli...
阿里 Canal 实时同步 MySQL 增量数据至 ClickHouse 数据库
2301_81186823的博客
05-21 626
说明：这个文件是canal的基本通用配置，canal端口号默认就是 11111，修改canal的输出model，默认tcp，改为输出到 kafka多实例配置如果创建多个实例，通过前面canal架构，我们可以知道，一个canal服务中可以有多个instance，conf/下的每一个example即是一个实例，每个实例下面都有独立的配置文件。canal可以同步整个库的所有表和单表的表，配置都在这里进行配置，如果需要同步多张表的数据，就在rdb下创建多个类似的配置文件，文件名可以用表名来命名。
基于 Flink SQL 构建流批一体的 ETL 数据集成
张普的专栏
04-26 304
数据仓库与数据集成数据仓库是一个集成的（Integrated），面向主题的（Subject-Oriented），随时间变化的（Time-Variant），不可修改的（Nonvolatile）数据集合，用于支持管理决策。这是数据仓库之父 Bill Inmon 在 1990年提出的数据仓库概念。该概念里最重要的一点就是“集成的”，其余特性都是一些方法论的东西。因为数据仓库首...
CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践
Kami‘s home
03-11 6070
简述 本案例为国内某大健康领域头部公司真实案例(因用户保密要求，暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。 业务背景 大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例，检测结果需要实时统计分析，并在决策大屏中进行可视化展现。数据的及时性直接关系到区域疫情防控的精准布施从而有效防止疫情的扩散，不容半点闪失。在此之上，业务的多样性和复杂性也对公司的研发和运维成本要求也越来越高。 例如疫情防控指挥决策大屏中，数据包括流.
别困惑，不是你的错！90%的开发者把Clubhouse看成了Clickhouse
京东科技开发者
02-08 2391
看上面的对话是不是感觉似曾相识，这几天你有没有遇到？近期，Clubhouse音频社交App一夜爆红，朋友圈被刷屏“一码难求”。但当你第一眼看到“Clubhouse”时，会不会看成了“Cli...
国产数据库技术发展的探索与思考
杨建荣的学习笔记
11-22 2110
本文根据王义成老师在〖2020 Gdevops全球敏捷运维峰会〗现场演讲内容整理而成。讲师介绍王义成，腾讯云数据库副总经理，深耕数据库领域10余年，数据库技术专家工程师。从事过数据库研发、...
【秋招面试】面试准备（一面准备）_秋招面试是什么样
2301_78399616的博客
04-28 592
项目背景：受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。项目价值：我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。
大数据开发基础课
fegus的博客
07-13 1057
模块一：大数据简介03 | 为了追赶当下趋势，我们要做什么思想准备？模块三：大数据开发06 | 精准溯源：大数据中的数据到底是从哪儿来的？07 | 专为解决大数据存储问题而产生的 HDFS08 | HBase 和 Hive 你能分清楚吗？10 | 消息系统 Kafka 与 Flume 如何抉择11 | MapReduce 处理大数据的基本思想有哪些12 | Spark 与 Flink 的爱恨情仇（上）13 | Spark 与 Flink 的爱恨情仇（下）模块四：大数据挖掘与分析16 | 计算机视觉 VS 自
大数据最全【秋招面试】面试准备（一面准备）_秋招面试是什么样(1)
2401_84181403的博客
05-04 990
项目背景：受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。项目价值：我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。
浅析mysql迁移到clickhouse的5种方法
09-09
Altinity公司提供了一个Python工具`clickhouse-mysql-data-reader`，它可以实现MySQL到ClickHouse的全量和增量数据迁移。然而，使用这个工具可能需要根据官方文档和示例代码进行一些调整，确保配置正确无误。 ```...
datax插件|clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步|2020修正版
08-01
《DataX ClickHouse读写插件：MySQL、Oracle到ClickHouse的数据同步与反向同步实践》 DataX作为阿里巴巴开源的一款高效、稳定、强大的数据同步工具，广泛应用于大数据生态中的数据迁移任务。针对ClickHouse这款高...
mysql、posrgresql转成clickhouse db工具sync-master
02-07
《MySQL、PostgreSQL到ClickHouse的数据迁移：sync-master工具详解》 在大数据处理领域，ClickHouse作为一款高性能的列式数据库管理系统（Column-Oriented DBMS），因其在实时分析和大数据处理上的优秀性能，越来越...
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
ubuntu20.04-ssh9.8p1-ssl3.0.14-focal-deb-amd64升级加固脚本.zip
07-27
若有新版本请查看文章最后附件地址：https://blog.csdn.net/liuxin638507/article/details/132450367 特点： 1、同时升级openssh与openssl，采用deb包形式，一键快速升级版本，无需每台单独再次进行编译， 2、隐藏openssh-版本号(openssh9.8p1及之后隐藏版本号还未找到方法) 3、已默认安全加固（已有配置跳过） 安装： 执行 bash upgrade_ssl_ssh_ubuntu.sh 进行安装 注意，升级安装后，确保sshd服务正常，请新开终端进行验证测试 验证 openssl版本： openssl version OpenSSL 3.0.14 4 Jun 2024 (Library: OpenSSL 3.0.14 4 Jun 2024) openssh版本： ssh -V OpenSSH_9.8p1, OpenSSL 3.0.14 4 Jun 2024
avif-0.5.0-cp36-cp36m-manylinux1_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
clickhouse 同步mysql select
06-06
ClickHouse是一个开源的分布式列式存储分析数据库，它能够支持海量数据的实时查询和分析。关于ClickHouse同步MySQL的select，需要进行以下几个步骤： 1. 安装clickhouse-mysql-data-reader插件：这个插件会将MySQL的数据同步到ClickHouse中，可以通过以下命令进行安装： ``` sudo clickhouse-client --query="INSTALL PLUGIN mysql_data_reader FROM https://github.com/ClickHouse/clickhouse-mysql/releases/download/1.0.5/mysql_data_reader-1.0.5-4a25df3-00e4-4e23-a1d6-2fd8c0c3d8d7.tar.gz" ``` 2. 配置MySQL数据源：需要在ClickHouse中配置MySQL的连接信息，在config.xml文件中添加以下配置： ``` <mysql_data_reader> <host>localhost</host> <port>3306</port> <user>root</user> <password>password</password> <db>test</db> <table>test_table</table> </mysql_data_reader> ``` 其中，host、port、user、password为MySQL的连接信息，db为要同步的数据库名，table为要同步的表名。 3. 执行SELECT语句：在ClickHouse中执行SELECT语句即可从MySQL中同步数据到ClickHouse中，例如： ``` SELECT * FROM mysql('localhost:3306', 'test', 'test_table', 'root', 'password') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值