clickhouse
文章平均质量分 83
大锅霍皮久
可以帮到各位,对此我感到开心。
展开
-
【Clickhouse】CLICKHOUSE容器化相关对每自定义节点数量进行1次分片
【Clickhouse】CLICKHOUSE容器化相关对每2节点进行1次分片原创 2022-10-08 12:04:32 · 380 阅读 · 0 评论 -
【Clickhouse】Clickhouse-copier数据复制-迁移案例
Clickhouse-copier数据复制-迁移案例背景方案调研方案一:拷贝数据目录操作流程方案二:使用 remote 表函数操作流程方案三:Clickhouse-copier(已采用)Clickhouse-copier的工作流介绍配置task.xml将task.xml写入zk执行过程启动任务日志分析补充说明背景因新环境上线,需要从旧环境中迁移数据至新环境。方案调研方案一:拷贝数据目录先观察一下 ClickHouse 在文件系统上的目录结构(配置文件 /ect/clickhouse-server/原创 2021-12-29 15:24:34 · 5320 阅读 · 14 评论 -
【Clickhouse】clickhouse-copier 对百亿级数据过程中出现计划与实际同步数据量不同报错
clickhouse-copier 对百亿级数据过程中出现计划与实际同步数据量不同报错同步计划解决方案①解决方案②(采纳)同步计划开始时间:2021年12月28日14:56:39计划同步数据量:50869051971带宽占用:常熟联通40~50Mb/S结束时间:2021年12月29日 07:44:06实际同步数据量:15260647381计划同步数据量截图实际同步数据量截图根据下图日志中反馈发现在写入piece 2的时候出现这种错误的原因在报错中已经体现出来,就是ClickHouse默原创 2021-12-29 15:05:18 · 767 阅读 · 0 评论 -
【Clickhouse】CLICKHOUSE几个常见问题处理以及常用命令(持续更新)
@TOC删除旧集群表后重建,5分钟左右出现zk中该表的配置文件消失的情况网上的解决方案测试后无效网上案例确认metadata和data下无该表数据。确认zk中无该表数据。重建表后5分钟左右配置文件消失,但metadata和data下有该表(日志中会出现 No node, path)。此时该表形同虚设,无法正常使用。标记该问题为bug,可能部分数据存在于缓存中导致无法重建解决方案:更换表名后,zk中该表的配置文件不会消失。通过此方式解决该问题。需谨慎使用。如何处理socket_ti原创 2021-12-09 17:18:05 · 9522 阅读 · 1 评论 -
【Clickhouse】Clickhouse集群概念+可用性测试
Clickhouse集群概念+可用性测试集群部署核心概念:集群分布式分布式集群Clickhouse分布式集群规划个人观点常用命令集群部署核心概念:集群简单的理解,集群就是把多台计算机(服务器)拼凑在一起,它们相互合作和组合,在物理上构成了一个整体。分布式分布式的概念是相对于单个任务而言的,一个大任务或者复杂任务,将其按照一定的逻辑拆分成多个小任务,每个小任务单独处理,然后合并每个小结果成一个大结果。下面是一个简单的分布式架构示例:分布式集群分布式集群兼以上三个特点而有之,能够处理大型任务原创 2021-06-23 15:14:06 · 3625 阅读 · 2 评论