---ClickHouse
大数据学习二级分类,涉及ClickHouse(来自俄罗斯的“百度”)。
ClickHouse或许是目前OLAP领域的最优解,他被称为真正的DBMS。
寒 暄
自渡
展开
-
ClickHouse优化
max_table_size_to_drop此参数在/etc/ClickHouse/config.xml中,应用于需要删除表或分区的情况,默认是50GB,意思是如果删除50GB以上的分区表会失败。建议修改为0,这样不管多大的分区表都可以删除。max_memory_usage此参数在/etc/ClickHouse/config.xml中,表示单次Query占用内存最大值,超过的话会查询失败。建议尽量调大一些。删除多个节点的同一张表需要用到on cluster关键字:drop table 表名 on原创 2020-07-02 16:38:34 · 1472 阅读 · 0 评论 -
ClickHouse常用表引擎
表引擎表引擎(表的类型)决定了:数据的存储方式和位置,写到哪里以及从哪里读取数据支持哪些查询以及如何支持并发数据访问索引的使用是否可以多线程请求数据复制参数TinyLog最简单的表引擎。存储在磁盘中,不支持索引,没有并发控制。TinyLog支持并发读,但是不支持并发写与并发读写,所以TinyLog表适合存放一些静态信息或者变化缓慢的信息。有点像数仓中的缓慢变化维度。创建TinyLog引擎表只需要在创建语句最后加上engine=TinyLog这时在ClickHouse中保存def原创 2020-07-01 17:04:09 · 5224 阅读 · 0 评论 -
ClickHouse常用数据类型与其他组件类型对比
与其他组件数据类型对比MySQLHiveClickHousebyteTINYINTInt8shortSMALLINTInt16intINTInt32longBIGINTInt64varcharSTRINGStringtimestampTIMESTAMPDateTimefloatFLOATFloat32doubleDOUBLEFloat64booleanBOOLEAN-注意点:ClickHous原创 2020-06-28 16:40:52 · 3143 阅读 · 0 评论 -
ClickHouse单机模式,集群模式部署
安装前的准备取消服务打开的文件数限制centos默认打开文件数为1024,但是OLAP引擎都是海量文件读取,所以需要修改访问文件数限制。首先看一下文件数限制ulimit -n1024centos默认是1024个文件数vi /etc/security/limits.conf在最后追加:* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072vi /etc/security/limi原创 2020-06-25 18:34:54 · 1549 阅读 · 0 评论 -
OLAP引擎之ClickHouse概述
文档:https://clickhouse.tech/docs/zh/什么是ClickHouseClickHouse是俄罗斯的Yandex(类似于国内百度一样的定位)于2016年开源的列式存储数据库(DBMS),主要用于OLAP查询(OLAP引擎会专门说一说),能够实时生成分析数据报告。什么是列式存储我们平常使用的关系型数据库都是行式存储:rownamesex1张三男2小红女3李四男行式存储中一行为一个单位,在磁盘上的组织结构为:1,张三,男;2原创 2020-06-24 17:29:49 · 331 阅读 · 0 评论