![](https://img-blog.csdnimg.cn/2de7337d9cec4a34866c5015b9a65d79.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ClickHouse
文章平均质量分 90
以ClickHouse为主的学习记录笔记。
大Null
Alias:一位木带感情的码农。
因CSDN过于商业化,博主已转战Github,所有资源均已迁移至Github个人网站,具体地址请查看详细资料。
展开
-
Clickhouse常用函数总结
Cliskhouse 常用的函数语法总结,文末参考文献有官网全部函数的文档。原创 2023-10-07 15:12:58 · 2823 阅读 · 0 评论 -
ClickHouse实时分析(十五)- ClickHouse的备份与恢复
目录1. 手动实现备份及恢复1.1 创建备份路径1.2 执行备份命令1.3 将备份数据保存到其他路径1.4 恢复数据2. 使用clickhouse-backup2.1 上传并安装2.2 配置文件2.3 创建备份2.4 从备份恢复数据2.5 其他说明参考文献1. 手动实现备份及恢复 ClickHouse 允许使用ALTER TABLE ... FREEZE PARTITION ... 查询以创建表分区的本地副本。这是利用硬链接(hardlink)到/var/lib/clickhouse/shadow/文原创 2022-04-11 10:17:45 · 7000 阅读 · 5 评论 -
ClickHouse实时分析(十四)- ClickHouse在生产环境上的常见问题排查
ClickHouse常见报错整理及解决方法;分布式DDL某数据节点的副本不执行;数据副本表和数据不一致;副本节点全量恢复;数据副本启动缺少zk表;ZK table replicas 数据未删除,导致重建表报错;Clickhouse节点意外关闭原创 2022-04-08 14:57:25 · 2185 阅读 · 0 评论 -
ClickHouse实时分析(十三)- ClickHouse物化视图详解
目录1. 概述1.1 物化视图和普通视图的区别1.2 优缺点1.3 基本语法1.3.1 创建物化视图的限制1.3.2 物化视图的数据更新2. 案例实操2.1 准备测试用表和数据2.2 创建物化视图2.3 导入增量数据2.4 导入历史数据参考文献1. 概述 ClickHouse 的物化视图是一种查询结果的持久化,它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别,它就是一张表,它也像是一张时刻在预计算的表,创建的过程它是用了一个特殊引擎,加上后来 as select,就是 create 一个 t原创 2022-04-08 11:39:22 · 5122 阅读 · 2 评论 -
ClickHouse实时分析(十二)- ClickHouse如何保证数据一致性
目录1. ClickHouse的数据一致性问题2. 手动OPTIMIZE3. 通过Group by去重1. ClickHouse的数据一致性问题 在生产环境中,数据一致性的重要性,不论如何强调都不过分。而 ClickHouse 在进行数据变更时,都会产生一个临时分区,而不会更改原始数据文件,对数据文件的修改操作会要等到数据合并时才进行。所以 ClickHouse 只能保证数据的最终一致性,而不能保证强一致性。很可能数据变更后,程序通过 ClickHouse 查到之前的错误数据。因此使用 ClickHo原创 2022-04-08 10:28:30 · 4232 阅读 · 0 评论 -
ClickHouse实时分析(十一)- ClickHouse高性能查询优化方案
目录1. 单表查询1.1 prewhere替代where1.2 数据采样1.3 列裁剪与分区裁剪1.4 order by结合where、limit1.5 避免构建虚拟列1.6 uniqCombined替代distinct1.7 使用物化视图1.8 其他注意事项2. 多表关联2.1 准备表和数据2.2 用IN代替JOIN2.3 大小表JOIN2.4 注意谓词下推2.5 分布式表使用GLOBAL2.6 使用字典表2.7 提前过滤参考文献1. 单表查询1.1 prewhere替代where prewher原创 2022-04-02 11:41:02 · 3773 阅读 · 0 评论 -
ClickHouse实时分析(十)- ClickHouse内置语法优化详解
目录1. 准备测试用表2. COUNT优化3. 消除子查询重复字段4. 谓词下推5. 聚合计算外推6. 聚合函数消除7. 删除重复的order by key8. 删除重复的limit by key9. 删除重复的 USING Key10. 标量替换11. 三元运算优化参考文献1. 准备测试用表 ClickHouse 底层提供了基于 RBO(Rule Based Optimization)的 SQL 优化实现,会对一些低效的查询语句自动进行优化,这些优化的方式实际上也是我们写高效查询的一些指导。上原创 2022-04-01 17:08:39 · 976 阅读 · 2 评论 -
ClickHouse实时分析(九)- ClickHouse常规优化方案
目录1. 数据类型优化1.1 时间字段的类型1.2 空值存储类型2. 分区和索引3. 表参数4. 写入和删除优化5. 常见配置5.1 CPU资源5.2 内存资源1. 数据类型优化1.1 时间字段的类型 建表时能用数值型或日期时间型表示的字段就不要用字符串,全 String 类型在以 Hive 为中心的数仓建设中常见,但 ClickHouse 环境不应受此影响。 虽然 ClickHouse 底层将 DateTime 存储为时间戳 Long 类型,但不建议存储 Long 类型,因为DateTime不原创 2022-03-31 17:17:05 · 4045 阅读 · 0 评论 -
ClickHouse实时分析(八)- ClickHouse Explain详解
ClickHouse Explain查看执行计划,Explain基本语法详解,Explain案例演示原创 2022-03-30 16:23:58 · 7530 阅读 · 1 评论 -
ClickHouse实时分析(七)- ClickHouse分布式表详解
ClickHouse分布式集群搭建教程详解,什么是ClickHouse分布式表,分布式表数据写入读取流程详解,如何配置ClickHouse分布式表原创 2022-03-29 16:35:37 · 8071 阅读 · 5 评论 -
Code: 516. DB::Exception: Received from localhost:9000. failed: password is incorrect or there is no
ClickHouse查询分布式表报错,密码不正确或没有具有此名称的用户。DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name. (AUTHENTICATION_FAILED)原创 2022-03-29 16:31:56 · 7051 阅读 · 0 评论 -
ClickHouse实时分析(六)- ClickHouse数据副本详解
目录1. 数据副本简介2. 副本写入流程3. 副本配置步骤4. 副本效果演示1. 数据副本简介 副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。只有 MergeTree 系列里的表可以支持副本:ReplicatedMergeTreeReplicatedSummingMergeTreeReplicatedReplacingMergeTreeReplicatedAggregatingMergeTreeReplicatedCol原创 2022-03-28 11:05:56 · 5232 阅读 · 0 评论 -
ClickHouse实时分析(五)- ClickHouse的操作使用指南
ClickHouse SQL操作详解,ClickHouse数据导入导出教程,ClickHouse的简单使用,Atomic库引擎详解,ClickHouse Insert操作,ClickHouse Update和Delete,ClickHouse查询操作,ClickHouse alter操作原创 2022-03-24 17:25:13 · 2747 阅读 · 0 评论 -
ClickHouse实时分析(四)- ClickHouse表引擎详解
表引擎的使用,日志引擎系列,MergeTree引擎系列,集成的表引擎,用于其他特定功能的引擎,虚拟列,TinyLog引擎,Log引擎,StripeLog引擎,MergeTree引擎,AggregatingMergeTree引擎,CollapsingMergeTree引擎,ReplacingMergeTree引擎,SummingMergeTree引擎原创 2022-03-23 17:27:02 · 3607 阅读 · 0 评论 -
ClickHouse实时分析(三)- ClickHouse数据类型详解
目录1. 整型2. 浮点型3. 布尔型4. Decimal型5. 字符串6. 枚举类型6.1 用法演示7. 时间类型8. 数组1. 整型 固定长度的整型,包括有符号整型或无符号整型。整型范围(-2n-1~2n-1-1):Int8 - [-128 : 127]Int16 - [-32768 : 32767]Int32 - [-2147483648 : 2147483647]Int64 - [-9223372036854775808 : 9223372036854775807]无符号整原创 2022-03-23 14:46:44 · 1070 阅读 · 0 评论 -
ClickHouse实时分析(二)- ClickHouse的安装部署教程
目录1. 准备工作1.1 确定防火墙处于关闭状态1.2 CentOS取消打开文件数限制1.3 安装依赖1.4 CentOS取消SELINUX1.5 下载安装包1. 准备工作 演示环境还是用三台 CentOS 服务器 hadoop121,hadoop122,hadoop123 三台机器。 ClickHouse 不需要依赖其他的组件,自己就能够提供非常强悍的数据处理性能。支持的安装环境非常多,安装方式也有很多种。这里,我们用 RPM 方式进行安装。 下面先做一些安装前的准备工作。1.1 确定防火原创 2022-03-23 11:57:08 · 3206 阅读 · 0 评论 -
ClickHouse实时分析(一)- ClickHouse入门
什么是ClickHouse,ClickHouse的优缺点,OLAP场景的关键特征,列式数据库更适合OLAP场景的原因,ClickHouse的特点,列式存储,DBMS的功能,多样化引擎,高吞吐写入能力,数据分区与线程级并行,ClickHouse与常见数据库的性能对比原创 2022-03-21 11:28:44 · 3257 阅读 · 0 评论