![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
OLAP--ClickHouse
经验实践总结
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
clickhouse分布式表实践和原理
分布式表 一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表. 分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户. 本地表: 实际存储数据的表 1 多切片单副本分布式表conf.xml中的开启远程连接 配置/etc/metrika.xml文件 <!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept ...原创 2020-12-20 21:45:41 · 3199 阅读 · 1 评论 -
clickhouse中的TTL
1.TTL即Time To Live 表示数据的存活时间。在MergeTree中,可以为某个列字段或者整张表设置TTL。2.当时间达到时,若列字段级别的TTL 则会删除这一列的数据;3.若表级别的TTL则会删除整张表的数据;3.若同时设置了列级别的和表级别的TTL则以先到期的为准。4.无论列级别还是表级别的TTL,都需要依托某个Datetime或者date类型的字段,通过对这个时间字段的INTERVAL操作来表述TTL的过期时间:TTL time_columnTTL time_column.原创 2020-12-18 21:51:03 · 1528 阅读 · 1 评论 -
程序员必备技能之ClickHouse
引言----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------原创 2020-12-17 10:31:25 · 3213 阅读 · 0 评论 -
clickhouse漏斗函数
建如下一张表,CREATE TABLE funnel.funnel_test ( uid String, eventid String, eventTime UInt64) ENGINE = MergeTree PARTITION BY (uid, eventTime) ORDER BY (uid, eventTime) SETTINGS index_granularity = 8192有三个字段:uid:用户ideventid:事件ideventTime:事件发生时间(秒)插入如下数据作为测试数原创 2020-10-18 22:54:17 · 1250 阅读 · 1 评论 -
全网最细最全clickhouse教程(clickhouse视频教程)
表引擎(即表的类型)决定了:数据的存储方式和位置,写到哪里以及从哪里读取数据 支持哪些查询以及如何支持。 并发数据访问。 索引的使用(如果存在)。 是否可以执行多线程请求。 数据复制参数。在读取时,引擎只需要输出所请求的列,但在某些情况下,引擎可以在响应请求时部分处理数据。对于大多数正式的任务,应该使用MergeTree族中的引擎。1 日志系列具有最小功能的轻量级引擎。当您需要快速写入许多小表(最多约100万行)并在以后整体读取它们时,该类型的引擎是最有效的。1.1S...原创 2020-08-26 16:25:30 · 11777 阅读 · 3 评论 -
clickhouse集成HDFS
1 使用的是集成引擎 HDFScreate table tb_hdfs(uid Int32 ,name String ,gender String)engine=HDFS('hdfs://doit01:8020/ch' , 'CSV') ;insert into tb_hdfs values(1,'zss','M'),(2,'lss','F') ;2 from准备一个数据上传到HDFS中1,URL1,2020-07-21,click2,URL1,2020-07-2...原创 2020-08-25 11:02:46 · 1622 阅读 · 1 评论 -
全网最细最全OLAP之clickhouse笔记|clickhouse文档|clickhouse揭秘文档(五)--表引擎
表引擎(即表的类型)决定了:数据的存储方式和位置,写到哪里以及从哪里读取数据 支持哪些查询以及如何支持。 并发数据访问。 索引的使用(如果存在)。 是否可以执行多线程请求。 数据复制参数。在读取时,引擎只需要输出所请求的列,但在某些情况下,引擎可以在响应请求时部分处理数据。对于大多数正式的任务,应该使用MergeTree族中的引擎。1 日志引擎具有最小功能的轻量级引擎。当您需要快速写入许多小表(最多约100万行)并在以后整体读取它们时,该类型的引擎是最有效的。1.1TinyLog原创 2020-08-25 08:46:30 · 1145 阅读 · 1 评论 -
全网最细最全OLAP之clickhouse笔记|clickhouse文档|clickhouse揭秘文档(四)--clickhouse的数据类型
1 数据类型在建表的时候指定字段的数据类型, 数据类型在使用的时候是区分大小写的 ,所以在定义字段的时候一定注意数据类型的书写1.1 整数数据类型Int RangesInt8 - [-128 : 127] Int16 - [-32768 : 32767] Int32 - [-2147483648 : 2147483647] Int64 - [-9223372036854775808 : 9223372036854775807]Uint RangesUInt8 - [0 : 2..原创 2020-08-15 16:11:31 · 1514 阅读 · 0 评论 -
全网最细最全OLAP之clickhouse笔记|clickhouse文档|clickhouse揭秘文档(三)--clickhouse单机安装和clickhouse集群安装
免费视频教程https://www.51doit.com/或者联系博主微信 177102996061 单节点安装1 安装curl工具yum install -y curl2 添加clickhouse的yum镜像curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash3 检查镜像情况[root@doit04 yum.repos.d]# yu...原创 2020-08-15 12:41:13 · 1295 阅读 · 0 评论 -
全网最细最全OLAP之clickhouse笔记|clickhouse文档|clickhouse揭秘文档(二)--clickhouse核心概念
免费视频教程https://www.51doit.com/或者联系博主微信 177102996061 架构设计1.1 单节点架构在单节点上安装好CH以后,启动CH的服务以后,可以使用CH提供的客户端交互窗口进行操作,可以操作数据库,表 , 表中的数据....同时CH也支持和其他数据源的对接!CH可以将整个表中的数据缓存在内存中,方便快速查询,分析计算结果,也可将数据存储在本地磁盘的执行目录中, 不同引擎的表存储的位置和结构不同!!1.2 集群架构ClickHouse...原创 2020-08-15 12:24:06 · 3141 阅读 · 1 评论 -
全网最细最全OLAP之clickhouse笔记|clickhouse文档|clickhouse揭秘文档(一)--clickhouse简介
免费视频教程https://www.51doit.com/或者联系博主微信 177102996061 简介ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System),简称CK, 主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。ClickHouse是一个完全的列式数据库管理系统,允许在运...原创 2020-08-15 11:25:40 · 4405 阅读 · 0 评论