ClickHouse跨集群表数据同步

文章介绍了如何通过CK集群的remote函数来处理业务数据增长问题,利用该函数进行跨集群数据同步,减少I/O操作,提升数据备份和不同环境间同步的效率。示例展示了如何执行查询和插入操作,以类似本地表的方式进行远程数据操作。
摘要由CSDN通过智能技术生成

因为ck集群1各个业务数据增长过快,现需要对集群1中的各个业务进行拆分,将原有集群1中ck表中的数据同步至其他不同环境ck集群2中。

解决办法:

ck提供remote函数,允许我们去查询远程的服务。直接跨集群传输,减少了I/O次数,进而大幅度提升了跨集群的数据传输,如数据备份,不同环境同步数据等效率。

remote('addresses_expr',db,table[, 'user'[, 'password']])
remote('addresses_expr',db.table[, 'user'[, 'password']])
eg:

SELECT count(*) FROM 
remote('ip:port', 'database', 'test', 'user', 'password');

INSERT INTO new_database.待迁移的数据表SELECT * from remote('老集群地址',old_database.老数据表,'user','password')

其中remote()函数就可以理解为是一个远程表名,port是指TCP端口,也是就默认的9000端口。

传输数据,其实就和本地表一样,只需要insert into test select ...就行了,select部分也是可以多层嵌套加条件的。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值