![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ClickHouse
文章平均质量分 90
yuan_404
这个作者很懒,什么都没留下…
展开
-
ClickHouse-尚硅谷(15. 高级-常见问题排查)学习笔记
上一篇:(14. 高级-MaterializeMySQL 引擎)学习笔记文章目录1 分布式 DDL 某数据节点的副本不执行2 数据副本表和数据不一致3 副本节点全量恢复4 数据副本启动缺少 zk 表5 ZK table replicas 数据未删除,导致重建表报错6 Clickhouse 节点意外关闭7 其他问题参考1 分布式 DDL 某数据节点的副本不执行问题:使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建表,但是 client 返回正原创 2022-05-07 16:38:02 · 604 阅读 · 0 评论 -
ClickHouse-尚硅谷(14. 高级-MaterializeMySQL 引擎)学习笔记
上一篇:(13. 高级-物化视图)学习笔记文章目录1 概述1.1 特点1.2 使用细则2 案例实操2.1 MySQL 开启 binlog 和 GTID 模式2.2 准备 MySQL 表和数据2.3 开启 ClickHouse 物化引擎2.4 创建复制管道2.5 修改数据2.6 删除数据2.7 删除表1 概述 MySQL 的用户群体很大,为了能够增强数据的实时性,很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件,我们需要用到类似 canal 这样的原创 2022-05-07 16:36:37 · 738 阅读 · 0 评论 -
ClickHouse-尚硅谷(13. 高级-物化视图)学习笔记
上一篇:(12. 高级-数据一致性)学习笔记文章目录1 概述1.1 物化视图与普通视图的区别1.2 优缺点1.3 基本语法2 案例实操2.1 准备测试用表和数据2.2 创建物化视图2.3 导入增量数据2.4 导入历史数据1 概述 ClickHouse 的物化视图是一种查询结果的持久化,它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别,它就是一张表,它也像是一张时刻在预计算的表,创建的过程它是用了一个特殊引擎,加上后来 as select,就是 create 一个 table as sele原创 2022-05-06 17:23:02 · 565 阅读 · 0 评论 -
ClickHouse-尚硅谷(12. 高级-数据一致性*)学习笔记
下一篇:(11. 高级-查询优化)学习笔记文章目录1 准备测试表和数据2 手动 OPTIMIZE(不推荐)3 通过 Group by 去重4 通过 FINAL 查询4.1 老版本测试4.2 新版本测试 查询 CK 手册发现,即便对数据一致性支持最好的 Mergetree,也只是保证最终一致性: 我们在使用 ReplacingMergeTree、SummingMergeTree 这类表引擎的时候,会出现短暂数据不一致的情况。 在某些对一致性非常敏感的场景,通常有以下几种解决方案。1 准备测试原创 2022-05-06 16:45:17 · 412 阅读 · 0 评论 -
ClickHouse-尚硅谷(11. 高级-查询优化)学习笔记
上一篇:(10. 高级-语法优化规则)学习笔记文章目录1 单表查询1.1 Prewhere 替代 where1.2 数据采样1.3 列裁剪与分区裁剪1.4 orderby 结合 where、limit1.5 避免构建虚拟列1.6 uniqCombined 替代 distinct1.7 使用物化视图1.8 其他注意事项2 多表关联2.1 准备表和数据2.2 用 IN 代替 JOIN2.3 大小表 JOIN2.4 注意谓词下推(版本差异)2.5 分布式表使用 GLOBAL2.6 使用字典表2.7 多表查询小结原创 2022-05-06 15:49:31 · 672 阅读 · 0 评论 -
ClickHouse-尚硅谷(10. 高级-语法优化规则)学习笔记
上一篇:(9. 高级-建表优化)学习笔记文章目录1 准备测试用表2 COUNT 优化3 消除子查询重复字段4 谓词下推5 聚合计算外推6 聚合函数消除7 删除重复的 order by key8 删除重复的 limit by key9 删除重复的 USING Key10 标量替换11 三元运算优化 ClickHouse 的 SQL 优化规则是基于 RBO(Rule Based Optimization),下面是一些优化规则1 准备测试用表上传官方的数据集将 visits_v1.tar 和 hi原创 2022-05-05 17:36:04 · 390 阅读 · 0 评论 -
ClickHouse-尚硅谷(9. 高级-建表优化)学习笔记
上一篇:(8. 高级-Explain 查看执行计划)学习笔记文章目录1 数据类型1.1 时间字段的类型1.2 空值存储类型2 分区和索引3 表参数4 写入和删除优化5 常见配置5.1 CPU 资源5.2 内存资源5.3 存储1 数据类型1.1 时间字段的类型 建表时能用数值型或日期时间型表示的字段就不要用字符串,全 String 类型在以 Hive为中心的数仓建设中常见,但 ClickHouse 环境不应受此影响。 虽然 ClickHouse 底层将 DateTime 存储为时间戳 Long原创 2022-05-05 15:38:45 · 583 阅读 · 2 评论 -
ClickHouse-尚硅谷(8. 高级-Explain 查看执行计划)学习笔记
上一篇:(7. 入门-分片集群)文章目录1 基本语法2 案例实操2.1 查看 PLAIN2.2 AST 语法树2.3 SYNTAX 语法优化2.4 查看 PIPELINE 在 clickhouse 20.6 版本之前要查看 SQL 语句的执行计划需要设置日志级别为 trace 才能可以看到,并且只能真正执行 sql,在执行日志里面查看。在 20.6 版本引入了原生的执行计划的语法。在 20.6.3 版本成为正式版本的功能。 本文档基于目前较新稳定版 21.7.3.14。 目前官网最新的在线测试原创 2022-05-05 14:56:58 · 481 阅读 · 0 评论 -
ClickHouse-尚硅谷(7. 入门-分片集群)学习笔记
上一篇:(6. 入门-副本)学习笔记文章目录1 概述2 集群写入流程(3 分片 2 副本共 6 个节点)3 集群读取流程(3 分片 2 副本共 6 个节点)4 3分片2副本共6个节点集群配置(供参考)5 配置三节点版本集群及副本5.1 集群及副本规划(2 个分片,只有第一个分片有副本)5.2 配置步骤6 项目为了节省资源,就使用单节点,不用集群1 概述 副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。 要解决数据水平切分的问题,需要引入原创 2022-05-05 11:01:59 · 1678 阅读 · 0 评论 -
ClickHouse-尚硅谷(6. 入门-副本)学习笔记
上一篇:(5. 入门-SQL 操作)学习笔记文章目录1 副本写入流程2 配置步骤1 副本写入流程2 配置步骤启动 zookeeper 集群在 hadoop102 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml 的配置文件,内容如下:注:也可以不创建外部文件,直接在 config.xml 中指定<?xml version="1.0"?><yandex> <zookeeper-servers&原创 2022-05-05 10:27:30 · 348 阅读 · 0 评论 -
ClickHouse-尚硅谷(5. 入门-SQL 操作)学习笔记
上一篇:(4. 入门-表引擎)学习笔记文章目录1 Insert2 Update 和 Delete3 查询操作4 alter 操作5 导出数据1 Insert基本与标准 SQL(MySQL)基本一致标准insert into [table_name] values(…),(….) 从表到表的插入insert into [table_name] select a,b,c from [table_name_2]2 Update 和 Delete ClickHouse 提供了原创 2022-04-29 16:39:24 · 408 阅读 · 0 评论 -
ClickHouse-尚硅谷(4. 入门-表引擎)学习笔记
上一篇:(3. 入门-数据类型)学习笔记下一篇:(5. 入门-SQL 操作)学习笔记文章目录1 表引擎的使用2 TinyLog3 Memory4 MergeTree *4.1 partition by 分区(可选)4.2 primary key 主键(可选)4.3 order by(必选)4.4 二级索引(跳数索引)4.5 数据 TTL(数据存活时间)5 ReplacingMergeTree6 SummingMergeTree1 表引擎的使用 表引擎是 ClickHouse 的一大特色。可以说,表原创 2022-04-29 14:54:17 · 779 阅读 · 0 评论 -
ClickHouse-尚硅谷(3. 入门-数据类型)学习笔记
上一篇:(2. 入门-安装)学习笔记下一篇:(4. 入门-表引擎)学习笔记文章目录1. 整型2. 浮点型3. 布尔型4. Decimal 型5. 字符串6. 枚举类型7. 时间类型8. 数组9. 其他1. 整型 固定长度的整型,包括 有符号整型(有正有负) 或 无符号整型。类比 Java 类型:CH类型Java类型整型范围(-2n-1~2n-1-1):Int8 - [-128 : 127]ByteInt16 - [-32768 : 32767]Short原创 2022-04-28 15:08:17 · 361 阅读 · 0 评论 -
ClickHouse-尚硅谷(2. 入门-安装)学习笔记
上一篇:(1. 入门-概述)学习笔记文章目录1. 准备工作1.1 确定防火墙处于关闭状态1.2 CentOS 取消打开文件数限制1.3 安装依赖1.4 CentOS 取消 SELINUX2. 单机安装2.1 在/opt/software 下创建 clickhouse 目录2.2 将/2.资 料/ClickHouse 下 4 个文件上传到 software/clickhouse 目录下2.3 将安装文件同步到 hadoop103、hadoop104 上2.4 分别在三台机子上安装这 4 个 rpm 文件2.原创 2022-04-27 17:08:20 · 604 阅读 · 0 评论 -
ClickHouse-尚硅谷(1. 入门-概述)学习笔记
下一篇:(1. 入门-概述)学习笔记文章目录1. ClickHouse 概述2. ClickHouse 的特点2.1 列式存储2.2 DBMS 的功能2.3 多样化引擎2.4 高吞吐写入能力2.5 数据分区与线程级并行2.6 性能对比1. ClickHouse 概述 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库(DBMS),使用 C++ 语言编写,主要用于 在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。OLAP: 在线分析处原创 2022-04-27 16:11:38 · 620 阅读 · 1 评论