clickhouse语句_clickhouse中文教程

clickhouse-engines表引擎介绍

2020-05-26

宋洋葱

宋洋葱

clickhouse最重要的部分大概是表格引擎，选择合适的引擎可以达到意想不到的效果。在上篇的clickhouse入门教程中使用了SummingMergeTree这个引擎，主要用来归档，求和。可以把多条数据，求和后只保存一条数据。占用空间小，且计算快。适用场景类似于时许数据库，把一段时间内的数据求和后存储。

上次SummingMergeTree实现了一个类似百度指数的功能，这次把要求改变一下，要求对多个关键词计算。比如：最近8小时同时谈到视频和直播的文章数量有多少。

创建表并使用MergeTree引擎,keywords为String数组，保存新闻分词后的所有关键词，数据根据dtime按天分区。最后三个字段分别为情绪、分类、评价。

CREATE TABLE indexsysdb.analytics \

(keywords Array(String),\

dtime DateTime('Asia/Shanghai'),\

source1 String,\

source2 String,\

mood Int8,\

category Int8,\

comment Int8)\

ENGINE = MergeTree() \

PARTITION BY toYYYYMMDD(dtime) \

ORDER BY (dtime,keywords,source1,source2,mood,category,comment);

插入测试数据

insert into analytics(keywords,dtime,source1,source2,mood,category,comment) values (['宋洋葱','clickhouse'],'2020-03-30 10:00:00','video','youtube',1,1,1);

clickhouse错误代码

243：Cannot reserve 1.00 MiB，服务器磁盘空间不足，迁移存储路径

62：一般为sql写错

数据迁移

#创建目录

mkdir -p /mnt/data2/chdata

#停止clickhouse

systemctl stop clickhouse-server

systemctl status clickhouse-server

# 迁移数据文件

mv /var/lib/clickhouse/* /mnt/data2/chdata/

# 修改配置文件

vim /etc/clickhouse-server/config.xml

# path --> /mnt/data2/chdata

# tmp_path --> /mnt/data2/chdata/tmp

# user_files_path

# format_schema_path

# 建议修改logger节点，把日志放到其他目录

# 重启

systemctl start clickhouse-server

systemctl status clickhouse-server

日志

tail -f /var/log/clickhouse-server/clickhouse-server.log

tail -f /var/log/clickhouse-server/clickhouse-server.err.log

若遇到Access to file denied，需要给权限：chown clickhouse:clickhouse /mnt/data2/chdata

若看不到日志可直接使用service clickhouse-server start启动。

聚合查询语句

--- 按月统计数据量

select toYYYYMM(dtime) as date,count(date) as num from analytics group by date;

--- 统计5月份每天的数据量

select toYYYYMMDD(dtime) as date,count(date) as num from analytics where dtime >= '2020-05-01 00:00:00' and dtime < '2020-06-01 00:00:00' group by date order by date;