ClickHouse踩坑之路
文章平均质量分 84
那些年CK踩过的坑
Hello Guava
坚持写一些JAVA、大数据相关的博文,有助于自己工作、学习、成长!
展开
-
记录一次ClickHouse数据迁移的过程
迁移的背景:首先目前的集群是4节点,配置为:4分片1副本(也就是没有数据备份),然后其中一个节点由于服务器问太卡访问太慢,需要去掉该节点,再重新加一个节点,然后再把去掉的节点上的数据迁移到新的节点中,然后整个集群还是4个节点。方案:借助clickhouse-copier,这是官网提供的一个数据迁移的工具,它可以做整个集群迁移到另一个集群,也可以只把其中一个分片的数据迁移,也可以在集群内部做数据迁移,这次我们的背景是集群内部做迁移。具体做法:首先我的想法是,先新增一个节点,就是集群由4节点变成5原创 2021-05-11 11:20:31 · 1229 阅读 · 5 评论 -
ClickHouse SQL记录
最近基于ClickHouse做了一些统计,用到了一些挺好用的函数,特记录下使用语音间隔时长最长的是几天用户每用一次语音就记录一条数据,数据中有时间、userId等,现在需要统计在某个时间范围内使用语音间隔时长最长是几天,也就是有几天没有语音数据。思路如下:1、先做一个子查询过滤下数据,按照userId、eventDate分组再按照时间排序,同时将时间字段(eventData)转为1到366的数字select userId, toDayOfYear(eventDate) as dfrom db_t原创 2021-01-22 15:51:29 · 2289 阅读 · 3 评论