大数据之 ClickHouse
ClickHouse 总结学习
weixin_52346735
Wang-Gang
展开
-
ClickHouse 表引擎
表引擎(即表的类型)决定了:数据的存储方式和位置,写到哪里以及从哪里读取数据支持哪些查询以及如何支持。并发数据访问。索引的使用(如果存在)。是否可以执行多线程请求。数据复制参数。在读取时,引擎只需要输出所请求的列,但在某些情况下,引擎可以在响应请求时部分处理数据。对于大多数正式的任务,应该使用MergeTree族中的引擎。1 日志引擎 具有最小功能的轻量级引擎。当您需要快速写入许多小表(最多约100万行)并在以后整体读取它们时,该类型的引擎是最有效的。1 TinyLog引擎(数据原创 2020-12-09 00:03:27 · 363 阅读 · 0 评论 -
Clickhouse SQL 语法
1创建数据库1本地引擎默认的引擎, 默认操作本地或者是指定集群的数据CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(…)]2mysql引擎MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中,并允许您对表进行INSERT和SELECT查询,以方便您在ClickHouse与MySQL之间进行数据交换。MySQL数据库引擎会将对其的查询转换为MySQL语法并发送到原创 2020-12-08 22:53:51 · 864 阅读 · 0 评论 -
JSON 函数
JSON 函数一 在CH 中建表create table tb_json(cont String) engine=Log ;二 导入表数据insert into tb_json values('{"movie":"1207","rate":"4","timeStamp":"978300719","uid":"1"}'),('{"movie":"2028","rate":"5","timeStamp":"978301619","uid":"1"}'),('{"movie":"531","ra原创 2020-12-08 17:28:23 · 153 阅读 · 0 评论 -
数组函数
高阶函数方法: 是一段逻辑代码的封装, 实现功能 , 代码的重复使用, 方便调用函数: 是一段逻辑代码的封装, 实现功能 , 代码的重复使用, 方便调用区别:方法是对象的一部分函数比方法高级 , 可以作为一个特殊的对象单独存在arrayMap 是一个高阶函数参数一 是一个函数 function f(T x){}参数二 数组select arrayMap(x->x*x ,[1,2,3,4]) ;结果数组拼接select arrayConcat([1,2],[3,4],原创 2020-12-08 17:05:56 · 53 阅读 · 0 评论 -
order by 和 group by 的区别
1,order by 从英文里理解就是行的排序方式,默认的为升序。 order by 后面必须列出排序的字段名,可以是多个字段名。2,group by 从英文里理解就是分组。必须有“聚合函数”来配合才能使用,使用时至少需要一个分组标志字段。注意:聚合函数是—sum()、count()、avg()等都是“聚合函数”3, 在sql命令格式使用的先后顺序上,group by 先于 order by。在Sql中也可以说order by是按字段排序,group by 是按字段分类通常order by 和g原创 2020-12-07 23:44:38 · 2553 阅读 · 1 评论 -
ClickHouse 习题练习 (连续N天的登录记录)
a,2017-02-05,200a,2017-02-06,300a,2017-02-07,200a,2017-02-08,400a,2017-02-10,600b,2017-02-05,200b,2017-02-06,300b,2017-02-08,200b,2017-02-09,400b,2017-02-10,600c,2017-01-31,200c,2017-02-01,300c,2017-02-02,200c,2017-02-03,400c,2017-02-10,600a原创 2020-12-07 23:42:06 · 781 阅读 · 0 评论 -
MergerTree 引擎 ReplacingMergeTree 引擎 VersionedCollapsingMergeTree 引擎
**该 MergeTree系列的引擎和其他引擎是最强大的ClickHouse引擎 。主要是将大量的数据插入到表中,数据快速的逐个部分写入到表中,然后应用规则在后台合并这些部分。这种方法比插入期间连续重写存储中的 数据效率更高 **主要特点:1) 存储按逐渐排序的数据这时可以创建一个小的稀疏索引,以便更快的查找数据2) 如果指定了分区键,则可以使用分区ClickHouse 支持某些分区操作,这些操作比对相同数据,相同结果的常规操作更有效。ClickHouse 还会自动切断在查询中原创 2020-12-05 12:09:41 · 795 阅读 · 0 评论 -
建表 建数据库 以及 Log 引擎的应用
1 开启ClickHouseservice clickhouse-server start 开启 clickhouseclickhouse-client -m 进入clickhouse客户端 -m 可以多行写2 建数据库create database db_name ; 建数据库use db_name ; 切换数据库 ;select currentDatabase() ; 查看当前使用的数据库drop database db原创 2020-12-04 22:33:34 · 138 阅读 · 0 评论 -
ClickHouse 安装
ClickHouse安装1)安装curl工具yum install -y curl2)添加clickhouse的yum镜像curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash3)检查镜像情况[root@doit04 yum.repos.d]# yum list | grep clickhouse 会出来以下结果clickhouse-clie原创 2020-12-04 22:09:13 · 97 阅读 · 0 评论 -
ClickHouse 介绍
**什么是ClickHouseClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。官网中文文档 https://clickhouse.tech/docs/zh/**1)SQL结构化查询语言2)分布式的完全列式的存储的数据库(CRUD)3) 自己管理数据,读取别人的 mysql hdfs 网络 本地文件 存储海量数据4) 解决并发5) 列式存储 可以是每个字段一个文件**ClickHouse是一个完全的列式数据库管理系统,允许在运行时原创 2020-12-04 21:03:21 · 1643 阅读 · 0 评论