ClickHouse
文章平均质量分 91
岙利岙
这个作者很懒,什么都没留下…
展开
-
MariaDB到MySQL数据实时同步(多库/Canal版)
1、Canal可配置多个实例,此篇文章配置的是多个实例指定同一个IP地址及端口,实现的是从同一个数据库同步数据,因为每个实例可以指定主数据库的IP地址及端口号,从而实现获取多台服务器的binlog文件,那么就意味着可以解析不同服务器上面MySQL的数据2、在adapter中的配置文件可以指定多个数据源(但是这个数据源只能和实例的数据源一致)能指定数据源,那么就可以实现不同数据库(服务器都可以不一致,因为配了IP地址的)的数据获取。原创 2023-07-05 10:14:05 · 546 阅读 · 0 评论 -
MySQL至ClickHouse数据实时同步(MaterializeMySQL引擎版)
在ClickHouse中创建MaterializeMySQL数据库aaa,指向的数据源地址为MySQL中的aaa数据库,至此ClickHouse中的aaa数据库已经和MySQL中的aaa数据库创建了连接,并且拥有MySQL那边所有的表结构和数据。INSERT INTO ccc (name, age) VALUES('张三', 18);server-id=1 #MySQL Server的id,一般为服务器IP地址尾数。update ccc set name = '李四' where id = 1;原创 2023-06-21 15:06:19 · 1187 阅读 · 0 评论 -
ClickHouse引擎(你想要的都有)
如果需要处理的数据量很大,数据的写入程序通常是多线程执行的,那么此时就不能保障数据的写入顺序了。该引擎继承了MergeTree引擎,当合并 SummingMergeTree 表的数据片段时,ClickHouse 会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值,即如果存在重复的数据,会对对这些重复的数据进行合并成一条数据,类似于group by的效果。当进行汇总数据操作时,可以通过改变查询方式,来过滤掉被删除的数据,只有相同分区内的数据才有可能被折叠。原创 2023-06-10 18:49:26 · 1596 阅读 · 0 评论 -
Mariadb实时同步数据至ClickHouse(最详细)
这一套数据同步目前只是实现了单表的实时同步,暂时还未研究通过多表或者整个库的实时同步,而且在做这一套东西的时候,想必也已经知道了ClickHouse在某些SQL语句上面还是有一些差异,所以这一套数据同步的中间件组合,是否支持所有的SQL语句,目前增删改是没有问题的,但是如果是修改表、drop、delete、truncate等操作呢,数据是否会同步,有待验证。3、Canal可以连接MySQL和ClickHouse,实现数据实时同步,但是MariaDB不支持,可以创建连接,但是有些SQL语法不支持,会报异常;原创 2023-06-08 18:00:26 · 312 阅读 · 0 评论 -
踩Mariadb和ClickHouse的坑
这种方式配置是成功了,成功启动了deployer和adapter,但是在做测试的时候,在Mariadb中insert、delete数据时,ClickHouse这边就开始报错了,类似报错如下,网上也没找到太多资料,就没研究了。安装了MySQL社区版,搭建了Mariadb至MySQL的主从,主从正常,接下来就是MySQL到ClickHouse的数据迁移工作,采用了第二个坑的方式,直接在MySQL中配置。通过创建复制管道,获取MySQL binlog日志,通过日志解析方式进行数据同步。# 这里一定是row格式。原创 2023-06-06 15:59:40 · 181 阅读 · 0 评论 -
clickhouse实时同步MySQL数据
另外,可以通过在clickhouse创建只读权限的数据库连接账号,即可控制双向数据同步时读写权限的区分了,MySQL自身就可以配置主从,如果使用MySQL从库来和clickhouse进行连接的话,必须要控制好读写权限,MySQL从库一旦写入数据之后,等到下一次主库同步数据至从库时,必然会导致MySQL主从断开,一定注意!1、使用clickhouse表引擎,直接从MySQL中读取数据(针对表),如果业务需求不是很复杂,可以选择此方式,需要哪张表就配置哪张表,操作简单,数据实时同步;4、在MySQL中查询。原创 2023-05-23 09:28:06 · 3933 阅读 · 2 评论