ClickHouse
文章平均质量分 93
# ClickHouse
Yuan_CSDF
被大数据埋没的销售人才
展开
-
ClickHouse(八)监控与备份
1、ClickHouse监控概述ClickHouse运行时会将一些个自身的运行状态记录到众多系统表中(system.*)。所以我们对CH自身的一些运行指标的监控数据,也主要来自这些系统表。但是直接查询这些系统表会有一些不足之处:这种方式太过底层,不够直观,我们还需要在此之上实现可视化展示; 系统表只记录了CH自己的运行指标,有些时候我们需要外部系统的指标进行关联分析,例如Zookeeper、服务器CPU、IO等等。现在Prometheus + ...原创 2022-01-18 21:55:01 · 2391 阅读 · 0 评论 -
ClickHouse(七)MaterializeMySQL引擎
1、概述 MySQL的用户群体很大,为了能够增强护具的实时性,很多解决方案会利用binlog将数据写入到ClickHouse。为了能够监听binlog事件,我们需要用到类似canal这样的第三方中间件,这无疑增加了系统的复杂度。 ClickHouse20.8.2.3版本新增加了MaterializeMySQL的database引擎,该database能映射到MySQL中的某个database,并自动在ClickHouse中创建对应的ReplacingMergeTree。C...原创 2022-01-17 22:19:32 · 899 阅读 · 0 评论 -
ClickHouse调优(二)语法优化
1、ClicHouse语法优化规则ClickHouse的SQL优化规则是基于RBO(Rule Based Optimization),下面是一些优化规则。1.1、COUNT优化在调用count函数时,如果使用的是count()或者count(*),且没有where条件,则会直接使用system.tables的total_rows,例如:注意:Optimized trivial count,这是对count的优化。1.2、消除子查询重复字段语...原创 2022-01-03 23:40:15 · 3537 阅读 · 0 评论 -
ClickHouse调优(一)基本调优
1、执行计划调优在clickhuse20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到并且只能真正执行sql,在执行日志里面查看。在20.6版本引入了原生的执行计划的语法。在20.6.3版本成为正式版本的功能。1.1、基本语法EXPLAIN [AST | SYNTAX | PLAN | PIPELINE] [setting = value, ...] select ...[FORMAT ...]PLAN:用于查看执行计划,默认值。h...原创 2022-01-03 18:16:24 · 4679 阅读 · 1 评论 -
ClickHouse(六)知识点补漏
1、二级索引 目前在ClikHouse的官网上二级索引的功能在v20.1.2.4之前是被标注为实验性,在这个版本之后默认是开启的。 1、老版本使用二级索引前需要增加设置 是否允许使用实验性的二级索引(v20.1.2.4开始,这个参数已被删除,默认开启)set allow_experimental_data_skipping_indices=1; 2、创建测试表-- 建表,增加二级索引 a create table t_or...原创 2021-12-27 22:02:22 · 716 阅读 · 0 评论 -
ClickHouse(五)ClickHouse整合其它存储系统
1.ClickHouse整合MySQL1.1.连接创建MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中,并允许您对表进行INSERT和SELECT查询,以方便您在ClickHouse与MySQL之间进行数据交换。ClickHouse的MySQL引擎可以对存储在远程MySQL服务器上的数据执行SELECT查询。这个模式类似于Hive的外部表。官网链接:https://clickhouse.tech/docs/en/engines/table-engines/integr原创 2021-06-14 23:03:21 · 490 阅读 · 0 评论 -
ClickHouse(四)表引擎
官网:https://clickhouse.tech/docs/zh/engines/table-engines/表引擎在 ClickHouse 中的作用十分关键,直接决定了数据如何存储和读取、是否支持并发读写、是否支持 index、支持的 query 种类、是否支持主备复制等。1.表引擎概述ClickHouse 提供了大约 28 种表引擎,各有各的用途,比如有 Log 系列用来做小表数据分析,MergeTree 系列用来做大数据量分析,而 Integration 系列则多用于外表数据集成。再考原创 2021-06-05 17:55:19 · 2394 阅读 · 0 评论 -
ClickHouse(三)SQL语法
1.SQL基本语法1.1.CREATE1.1.1.CREATE DATABASE数据库引擎:数据库目前一共支持5种引擎,如下所示:Ordinary:默认引擎,在绝大多数情况下我们都会使用默认引擎,使用时无须刻意声明。在此数据库下可以使用任意类型的表引擎。 Dictionary:字典引擎,此类数据库会自动为所有数据字典创建它们的数据表 Memory:内存引擎,用于存放临时数据。此类数据库下的数据表只会停留在内存中,不会涉及任何磁盘操作,当服务重启后数据会被清除。 Lazy:日志引擎,此类原创 2021-06-05 17:21:42 · 1122 阅读 · 0 评论 -
ClickHouse(二)数据类型
1. 数据类型基础类型只有数值、字符串和时间三种类型,没有Boolean类型,但可以使用整型的0或1替代。ClickHouse的数据类型和常见的其他存储系统的数据类型对比:MySQL Hive CLickHouse(区分大小写) byte TINYINT Int8 short SMALLINT Int16 int INT Int32 long BIGINT Int64 varchar STRING Str原创 2021-06-04 23:24:57 · 1640 阅读 · 0 评论 -
ClickHouse(一)简介与架构
1.OLAP详解1.1.OLAP的场景特征1、读多于写不同于事务处理(OLTP)的场景,比如电商场景中加购物车、下单、支付等需要在原地进行大量insert、update、delete操作,数据分析(OLAP)场景通常是将数据批量导入后,进行任意维度的灵活探索、BI工具洞察、报表制作等。数据一次性写入后,分析师需要尝试从各个角度对数据做挖掘、分析,直到发现其中的商业价值、业务变化趋势等信息。这是一个需要反复试错、不断调整、持续优化的过程,其中数据的读取次数远多于写入次数。这就要求底层数据库为这原创 2021-06-03 23:22:50 · 934 阅读 · 2 评论