ClickHouse
_梓杰_
保持热爱,奔赴山海
展开
-
ClickHouse 适用场景调研文档
文章目录一、适用场景二、读写性能三、读写限制四、资源消耗五、与kafka、hive对接方式六、数据批量流式写入方式七、ClickHouse存储方式八、ClickHouse计算方式九、ClickHouse查询原理 ClickHouse 是俄罗斯Yandex在2016年年开源的一个单进程多线程分析型列式存储数据库,主要面向OLAP场景。一、适用场景大多数是读请求数据批写入(1000条以上)不修改已添加的数据查询为多行少列存储宽表较少的查询(单台100qps左右)对于简单查询,允许延迟大约5原创 2020-11-19 21:06:56 · 2506 阅读 · 0 评论 -
ClickHouse开发规范
文章目录一、建表规范1.1 数据表引擎选择Log系列Integration系列Special系列MergeTree系列1.2 数据表字段选择数值类型字符串类型日期类型二、SQL规范一、建表规范数据表必须设置主键数据表必须有以下字段created_dateupdated_datecreated_byupdated_by1.1 数据表引擎选择Log系列Log系列表引擎功能相对简单,主要用于快速写入小表(1百万行左右的表),然后全部读出的场景。几种Log表引擎的共性是:数据被顺序ap原创 2020-11-18 20:45:20 · 1930 阅读 · 0 评论 -
ClickHouse 集群部署及资源权限管控文档
文章目录一、ClickHouse集群部署1.1 版本说明1.2 服务器规划1.3 配置目录规划二、基础环境配置2.1 配置映射2.2 关闭防火墙&selinux2.3 配置互信2.4 创建用户2.5 安装jdk三、zookeeper部署3.1 解压安装包并配置环境变量3.2 创建数据/日志目录3.3 修改配置文件3.4 创建myid3.5 启动zk集群四、ClickHouse部署4.1 安装4.2 修改配置文件4.2.1 config.xml4.2.2 users.xml4.2.3 metrika.原创 2020-11-18 12:42:46 · 1194 阅读 · 0 评论 -
ClickHouse压测
文章目录一、压测工具1.1 下载路径1.2 生产DML语句1.3 创建测试表1.4 导入测试数据1.5 生成测试数据:将“星型模式”转换为非规范化的“平面模式”二、压测指标 本文选用CK官方提供的一个测试方案:SSBM (Star Schema Benchmark)。一、压测工具1.1 下载路径yum -y install gcc gcc-c++ make cmake git git clone https://github.com/vadimtk/ssb-dbgen.gitmake1.2原创 2020-10-08 13:16:05 · 4178 阅读 · 3 评论 -
ClickHouse引擎介绍
文章目录一、基本介绍二、数据库引擎2.1 Ordinary2.2 Dictionary2.3 Memory2.4 Lazy2.5 MySQL三、数据表引擎3.1 MergreTree系列3.1.1 ReplacingMergeTree3.1.2 SummingMergeTree3.1.3 AggregatingMergeTree3.1.4 CollapsingMergeTree(VersionesCollapsingMergTree)3.1.5 GraphiteMergeTree3.2 Log系列3.2.1原创 2020-10-07 01:15:39 · 3111 阅读 · 0 评论 -
Clickhouse调研
文章目录一、适用场景(OLAP)二、特性三、限制四、性能一、适用场景(OLAP)大多数是读请求数据批写入不修改已添加的数据查询为多行少列存储宽表较少的查询(单台100/s左右)对于简单查询,允许延迟大约50毫秒无大字段(例如,每个URL 60个字节)单查询行数较大无事务要求,对数据一致性要求低数据被过滤或聚合后能够被盛放在单台服务器的内存中二、特性多CPU并行处理数据压缩分布式支持SQL向量引擎(部分列)支持主键索引在线计算原创 2020-10-04 18:31:02 · 1026 阅读 · 1 评论 -
ClickHouse简介
一、概述 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。在传统的行式数据库系统中,处于同一行中的数据总是被物理的存储在一起。数据按如下顺序存储:RowWatchIDJavaEnableTitleGoodEventEventTime#0893543506621Investor Relations12016-05-18 ...原创 2020-03-17 18:11:25 · 301 阅读 · 0 评论