yanqi_vip

一、ClickHouse概述### --- ClickHouse概述~~~ ClickHouse是一个快速开源的OLAP数据库管理系统，它是面向列的，~~~ 允许使用SQL查询实时生成分析报告。~~~ 随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越大，~~~ 有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节。...

一、ClickHouse下载### --- 下载地址~~~ 官网：https://clickhouse.yandex/~~~ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/二、ClickHouse单击模式安装### --- 单机模式：hadoop01~~~ # 上传...

NO：Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...

一、数据类型### --- 数据类型说明~~~ 支持DML，~~~ 为了提高性能，较传统数据库而言，clickhouse提供了复合数据类型。~~~ ClickHouse的Upadate和Delete是由Alter变种实现。二、整型### --- 整形说明~~~ 固定长度的整型，包括有符号整型或无符号整型。~~~ 整...

一、表引擎### --- 表引擎(即表的类型)决定了：~~~ 数据的存储方式和位置，写到哪里以及从哪里读取数据~~~ 支持哪些查询以及如何支持。~~~ 并发数据访问。~~~ 索引的使用(如果存在)。~~~ 是否可以执行多线程请求。~~~ 数据复制参数。~~~ # ClickHouse的表引擎有很多，下面介绍其中几...

一、MergeTree### --- MergeTree~~~ Clickhouse 中最强大的表引擎当属 MergeTree (合并树)~~~ 引擎及该系列(*MergeTree)中的其他引擎。~~~ MergeTree 引擎系列的基本理念如下。~~~ 当你有巨量数据要插入到表中，你要高效地一批批写入数据片段，~~~ 并希望这些数...

一、ClickHouse表引擎&MergeTree数据分区### --- 数据分区~~~ 数据是以分区目录的形式组织的，每个分区独立分开存储。~~~ 这种形式，查询数据时，可以有效的跳过无用的数据文件。~~~ 数据分区的规则分区键的取值生成分区ID分区根据ID决定。~~~ 根据分区键的数据类型不同，~~~ # 分区ID的...

一、索引：一级索引### --- 一级索引~~~ 文件：primary.idx~~~ MergeTree的主键使用Primary Key定义，主键定义之后，~~~ MergeTree会根据index_granularity间隔(默认8192)为数据生成一级索引并保存至primary.idx文件中。~~~ 这种方式是稀疏索引~~~ 简...

一、数据存储### --- 数据存储~~~ 表由按主键排序的数据 片段 组成。~~~ 当数据被插入到表中时，会分成数据片段并按主键的字典序排序。~~~ 例如，主键是 (CounterID, Date) 时，片段中数据按 CounterID 排序，~~~ 具有相同 CounterID 的部分按 Date 排序。~~~ 不同分区的数据会...

一、数据标记### --- 数据标记~~~ .mrk文件~~~ 将以及索引primary.idx和数据文件.bin建立映射关系### --- 通用用hits_v1表说明：~~~ 数据标记和索引区间是对齐的，根据索引区间的下标编号，~~~ 就能找到数据标记---索引编号和数据标记数值相同~~~ 每一个[Column].bin都...

一、MergTree的TTL### --- MergTree的TTL~~~ TTL：time to live 数据存活时间。TTL既可以设置在表上，也可以设置在列上。~~~ TTL指定的时间到期后则删除相应的表或列，如果同时设置了TTL，则根据先过期时间删除相应数据。### --- 用法：~~~ TTL time_col + INTERVAL ...

一、MergeTree存储策略配置### --- 整体配置：配置mergetree存储配置方案~~~ # 所有主机创建mergetree存储目录[root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata[root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/ch...

一、JBOD策略### --- 配置方式在config.xml配置文件中指定：~~~ # 在集群主机上config.xml配置JBOD策略[root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml~~~ 在config.xml文件最后一行：</yandex>参数之上添加JBOD参数<stor...

一、HOT/COLD策略### --- 配置方式在config.xml配置文件中指定：~~~ # 在集群主机上config.xml配置JBOD策略[root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml~~~ 在config.xml文件最后一行：</yandex>参数之上添加JBOD参数<...

一、MergeTree家族表引擎：MergeTree家族表引擎### --- ReplacingMergeTree~~~ 这个引擎是在 MergeTree 的基础上，添加了“处理重复数据”的功能，~~~ 该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。### --- 特点：~~~ 使用ORDER BY排序键作为判断重复的唯...

一、MergeTree家族表引擎：SummingMergeTree### --- SummingMergeTree~~~ 该引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时，~~~ ClickHouse 会把所有具有相同聚合数据的条件Key的行合并为一行，~~~ 该行包含了被合并的行中具有数值数据类型的...

一、MergeTree家族表引擎：AggregateMergeTree### --- AggregateMergeTree~~~ 说明： 该引擎继承自 MergeTree，并改变了数据片段的合并逻辑。 ~~~ ClickHouse 会将相同主键的所有行(在一个数据片段内)替换为单个存储一系列聚合函数状态的行。~~~ 可以使用 AggregatingMe...

一、MergeTree家族表引擎：CollapsingMergeTree### --- CollapsingMergeTree~~~ # 以增代删：~~~ 说明： yandex官方给出的介绍是CollapsingMergeTree 会异步的删除(折叠)~~~ 这些除了特定列 Sign 有 1 和 -1 的值以外，其余所有字段的值都相等的成对的行。~~...

NO：Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...

一、HDFS### --- HDFS~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。### --- 用途~~~ 该 URI 参数是HDFS中的整个文件URI。 该 format 参数指定一种可用的文...

一、ClickHouse链接mysql### --- mysql说明~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。### --- 调用格式：~~~ MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query,'on_d...

一、ClickHouse链接Kafka### --- ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。~~~ # Kafka 特性：~~~ 发布或者订阅数据流。~~~ 容错存储机制。~~~ 处理流数据。### --- 链接语法格式~~~ # 老版格式：Kafka(kafka_broker_...

一、JDBC### --- ClickHouse链接JDBC~~~ 允许CH通过 JDBC 连接到外部数据库。~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。~~~ 该引擎支持 Nullable 数据类型。### --- 建表语法CREATE TABLE [IF NOT EXISTS...

一、副本和分片### --- 副本~~~ ReplicatedMergeTree~~~ zk: 实现多个实例之间的通信。### --- 副本的特点：作为数据副本的主要实现载体，ReplicatedMergeTree在设计上有一些显著特点:~~~ # 依赖ZooKeeper：~~~ 在执行INSERT和ALTER查询的时候，~~~ ...

一、ReplicatedMergeTree原理### --- 数据结构[zk: localhost:2181(CONNECTED) 8] ls /clickhouse/tables/01/replicated_sales_5[metadata, temp, mutations, log, leader_election, columns, blocks, nonincremen...

一、分片### --- 修改配置参数文件：~~~ # 修改配置文件参数[root@hadoop01 ~]# vim /etc/clickhouse-server/config.d/metrika.xml ~~~ 下列为分片机制配置参数<yandex> <!-- 修改remote-servers集群配置节点信息 --> &l...

一、Distributed用法### --- Distributed表引擎~~~ Distributed表引擎：~~~ all ： 全局查询的~~~ local：真正的保存数据的表### --- Distributed~~~ 分布式引擎，本身不存储数据, 但可以在多个服务器上进行分布式查询。 ~~~ 读是自动并行的。读取时，...

一、DDL### --- 创建库：~~~ # 创建数据库hadoop01 :) create database mydatabase;### --- 执行完成以后，会在clickhouse的安装路径后生成mydatabase的文件目录：~~~ # 查看库表本地存储地址[root@hadoop01 ~]# ll /var/lib/clickhouse/...

一、默认值表达式：### --- 默认值表达式：创建表~~~ # 创建表hadoop01 :) create table dfv_v1 ( id String, c1 DEFAULT 1000, c2 String DEFAULT c1 ) engine = TinyLog;...

一、分区表：### --- 分区表~~~ 只有合并数(MergeTree)家族的表引擎支持分区表~~~ 可以利用分区表，做定位查询，缩小查询范围。~~~ 分区字段不易设的太小### --- 分区表案例：~~~ # 创建分区表hadoop01 :) CREATE TABLE partition_v1 ( `...

一、视图：### --- 普通视图和物化视图~~~ 普通视图：不保存数据，只是一层单纯的select查询映射，起着简化查询、明晰语义的作用。~~~ 物化视图：保存数据，如果源表被写入新数据，物化视图也会同步更新。~~~ POPULATE修饰符：决定在创建物化视图的过程中是否将源表的数据同步到物化视图里。### --- 数据表的基本操作：~...

一、数据分区的基本操作：### --- 查询分区信息：~~~ ClickHouse内置了很多system系统表，用于查询自身状态信息。### --- 查询分区表信息~~~ # 查看分区表信息hadoop01 :) use system;hadoop01 :) show tables;┌─name──────────────────────────...

一、分布式DDL执行### --- 分布式DDL执行~~~ 在集群上的任意一个节点上执行DDL语句，~~~ 那么集群上的任意一个节点都会以相同的顺序执行相同的语义。### --- 数据写入：~~~ # 方式一：hadoop01 :) insert into partition_v1 values (...)~~~ # 方式二：准...

一、CREATE DATABASE### --- CREATE DATABASE创建数据库~~~ 用于创建指定名称的数据库，语法如下：~~~ CREATE DATABASE [IF NOT EXISTS] db_name### --- 如果查询中存在IF NOT EXISTS，则当数据库已经存在时，该查询不会返回任何错误。~~~ # 创建数据库...

一、with子句### --- with子句~~~ 本节提供对公共表表达式的支持 (CTE)，~~~ 所以结果 WITH 子句可以在其余部分中使用 SELECT 查询。 ~~~ # 限制~~~ 不支持递归查询。~~~ 当在section中使用子查询时，它的结果应该是只有一行的标量。~~...

一、FROM子句### --- FROM 子句指定从以下数据源中读取数据:~~~ 表~~~ 子查询~~~ 表函数~~~ JOIN 和 ARRAY JOIN 子句也可以用来扩展 FROM 的功能~~~ 子查询是另一个 SELECT 可以指定在 FROM 后的括号内的查询。~~~ FROM 子句可以包含多个数据源，用逗号分隔，...

一、SAMPLE 子句### --- SAMPLE子句~~~ 该 SAMPLE 子句允许近似于 SELECT 查询处理。~~~ 启用数据采样时，不会对所有数据执行查询，而只对特定部分数据(样本)执行查询。~~~ 例如，如果您需要计算所有访问的统计信息，只需对所有访问的1/10分数执行查询，~~~ 然后将结果乘以10即可。### --- ...

一、JOIN子句### --- array join~~~ # 创建数据表hadoop01 :) use default;hadoop01 :) create table query_v1 (title String, value Array(UInt8))engine=Log;hadoop01 :) show tables;┌─name────────────...

一、PREWHERE 子句### --- PREWHERE子句~~~ Prewhere是更有效地进行过滤的优化。 ~~~ 默认情况下，即使在 PREWHERE 子句未显式指定。 ~~~ 它也会自动移动WHERE 条件到prewhere阶段。 ~~~ PREWHERE 子句只是控制这个优化，如果你认为你知道如何做得比默认情况下更好才去控制它。...

一、WHERE### --- where~~~ WHERE 子句允许过滤从 FROM 子句 SELECT.~~~ 如果有一个 WHERE 子句，它必须包含一个表达式与 UInt8 类型。 ~~~ 这通常是一个带有比较和逻辑运算符的表达式。~~~ 此表达式计算结果为0的行将从进一步的转换或结果中解释出来。~~~ WHERE 如果基础表...