clickhouse
hbz-
这个作者很懒,什么都没留下…
展开
-
【HBZ分享】Clickhouse常用命令及SQL语法
Clickhouse常用命令及SQL语法建库语句CREATE DATABASE [库名]例:CREATE DATABASE first_clickhouseMergeTree建表语句create table [库名].[表名]([字段1], [字段2]) engine = [引擎] order by([字段1], [字段2]...)例:create table first_clickhouse.order_merge_tree( id UInt32, sku_id St原创 2022-04-06 09:45:26 · 2530 阅读 · 0 评论 -
【HBZ分享】数仓里面的概念-宽表-维度表-事实表概念讲解
数仓概念1. 度量值:可被统计的,比如:次数,销量,营销额,订单表中的下单金额等可以统计的值叫度量值2. 维度表: (1). 对事实描述的信息,每一张表都对应现实世界中的一个对象或概念,比如:用户,商品,日期,地区维度 (2). 比如要分析商品的销售情况如何,就可以从商品类型,或者地区销售情况来进行分析 (3). 所谓维度,其实就是从什么角度进行分析 比如从用户的角度, 比如从商品类型,每种类型商品的销售量等 比如原创 2022-04-03 17:35:37 · 3262 阅读 · 0 评论 -
【HBZ分享】Clickhouse高性能剖析--稀疏索引
简介密集索引 与 稀疏索引的介绍1. 密集索引:在密集索引中,数据库中每个键值都有一个索引记录,可以加快搜索速度,但需要更多空间来存储这些索引本身,索引记录包含键值 和 指向磁头上实际记录的指针2. 稀疏索引:稀疏索引不会为每个关键字创建一个索引记录,而是为数据记录文件的每个存储块设置一个键-指针对。存储块意味着【块内存储单元连续】案例1. Mysql的MYISAM引擎里面使用的均为稀疏索引2. Mysql的InnoDB中,如果存在主键,则主键是密集索引3. Kafka里面的索引文件也是原创 2022-04-03 12:23:43 · 1480 阅读 · 1 评论 -
【HBZ分享】ClickHouse数据结构 之 LSM-TREE
ClickHouse高性能写入剖析-LSM-Tree数据结构简介先了解一组测试数据来对比磁盘的【随机读写】与【顺序读写】的性能差距顺序读写: 磁盘的顺序读写,磁头基本不需要换道,即使换道,时间也是极短的,性能极高,比如0.03 * 2000 MB /s随机读写: 随机读写会导致磁头不断地换道,从而导致性能大幅下降 0.03MB/s了解LSM-TREE树1. 充分利用了磁盘顺序写的特性,数据写入后,定期在后台Compaction(合并)2. 在数据导入时,全部是顺序append写(追加的顺序写原创 2022-04-03 11:24:36 · 3317 阅读 · 0 评论 -
【HBZ分享】ClickHouse的常见注意事项和异常问题排查
ClickHouse的常见注意事项和异常问题排查注意事项注意点1:要查询的列,避免使用select * 这种写法,浪费IO注意点2:避免出现大量的小批量插入,更新操作,这样会导致分区过多注:每次插入一条就会产生1个新分区, 所以尽量使用批量添加,不要一次添加1条注意点3:JOIN操作时,一定要把小表放到右面,无论是LEFT JOIN, RIGHT JOIN还是INNER JOIN,因为右表的每一条记录都会到左表中查询该记录是否存在,所以右表必须是小表注意点4:批量写入数据时,一定要原创 2022-04-02 20:45:09 · 1537 阅读 · 0 评论 -
【HBZ分享】Clickhouse 之 MergeTree家族的特性---MergeTree特性
MergeTree特性介绍:1. MergeTree系列被设计用于插入极大量的数据到一张表中。2. 数据可以 以【数据分段】的形式, 一个接着一个的写入,数据片段在后台按照一定规则进行合并,即执行插入时, 并不会立刻写入对饮的分区, 而是后台进行统一规则合并后写入的3. 相比在插入时,立即生效,然后在进行修改(重写)存储的数据, 这种策略效率更高。因为修改的时候,要重新进行 分区,采用统一合并,就可以减少很多次分区创建。比如100条数据修改,批量操作可能就会产生几个分区,但一条原创 2022-04-02 14:57:42 · 710 阅读 · 0 评论 -
【HBZ分享】RPM方式集群部署ClickHouse
一. 环境准备这里博主准备了4台阿里云服务器,其中一台部署ZooKeeper,另外3台部署ClickHouse集群二. ZooKeeper的Docker部署Docker部署ZK命令:docker run -d --name zookeeper -p 2181:2181 -t zookeeper:3.7.0注意:如果是云服务器部署,一定要开放2181端口三. 下载ClickHouse安装包下载地址:https://clickhouse.com/docs/zh/getting-started原创 2022-03-30 13:05:22 · 2556 阅读 · 0 评论