- 博客(480)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Clickhouse CTE 支持
从clickhouse 20.3.30版本开始支持标准SQL的部分with语句的写法 即支持CTE(common table expressionn)SELECT version()┌─version()──┐│ 20.10.3.30 │└────────────┘-- 子查询CDP01.example.com :) with a as (select number from system.numbers limit 10) select * from a;WITH a AS
2020-11-07 00:44:03
901
4
原创 Clickhouse MaterializeMySQL 数据库引擎
在Clickhouse 20.8.2.3 版本中新增一个数据库引擎，将clickhouse模拟为MySQL的从库，可以通过mysql的binlog实时的接收来自mysql的数据并在clickhouse物化,极大提升了数仓的查询性能和数据同步的时效性。同时增加了获取mysql数据的方式，除了mysql协议和mysql函数和mysql表引擎，clickhouse可以作为mysql的从库。ClickHouse can work as MySQL replica - it is implemented by
2020-09-27 17:13:06
3022
2
原创 VMware Workstation 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard 后，可以运行 VMware Workstati
vmware 15.5版本之前运行提示的信息：VMware Workstation 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard 后，可以运行 VMware Workstation。运行环境：vmware workstation pro 15.0cmd>systeminfoOS 名称: Microsoft Windows 10 专业版OS 版本: 10.0.18362 暂缺
2020-09-27 09:56:57
24726
6
原创 windows快速搭建Flink官方练习环境
运行环境：windows 10git 2.2x 版本docker-desktopjava 8IDEA 注意：需要开启windows系统的hyper-vgit windows 下载：https://git-scm.com/或者https://git-scm.com/download/winhttps://www.docker.com/products/docker-desktopdocker下载：docker desktop 比较大有374M之...
2020-09-14 18:01:26
1908
原创 kafka 2.4 源码环境搭建
可以查看需要依赖的环境信息：https://github.com/apache/kafka/blob/2.4/gradle/dependencies.gradle// Add Scala versiondef defaultScala211Version = '2.11.12'def defaultScala212Version = '2.12.10'def defaultScala213Version = '2.13.1' gradle: "5.6.2", gradleVersio
2020-09-13 01:28:08
270
原创 Impala 日期操作相关
获取指定日期的周初和周末：select date_sub(now(),dayofweek(now())-1-1) weekstart,date_sub(now(),dayofweek(now())-1-7) weekend;-- 时间戳取整Impala 2.11 之前的取整当前时间的写法:select trunc(now(), 'YEAR') --取整到年份, 得到当年 1 月 1 日 0 点 0 分select trunc(now(), 'MONTH') --取整到月份, 得到当月 1
2020-09-08 17:54:09
2794
原创 Kafka 2.4 集群搭建及常用操作
运行环境：CentOS 7.6Java 8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlZookeeper 3.5.8 http://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz kafka 2.4.1 http://mirrors.ustc
2020-09-03 17:47:16
242
1
原创 Kafka 发布版本和发布历史
Kafka的发展历史：Kafka早期是由LinkedIn公司内部开发的，并于2011年早期开源，2012-10-23 日从apache incubator 毕业。Kafka的名字来自于创始人Jay Kreps喜欢的奥地利小说Franz Kafka。创始人于年离开linkedIn公司创建了confluence 公司Kafka的发行版本：Kafka的版本号：scala 2.11 表示的scala的版本号。前面的版本号是编译 Kafka 源代码的 Scal...
2020-09-03 17:22:33
2828
原创 apache Kafka 概述
Apache KafkaApache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-criticalapplications.Kafka 最初是由LinkedIn公司采用Scala语言
2020-09-03 10:19:56
278
原创 Clickhouse的 MySQL ELT和interval 功能等同实现 roundDown
在MySQL和Clickhouse中分别创建表：mysql> create table scores(id int not null auto_increment primary key,user_id bigint,scores decimal(10,2));Clickhouse> create table scores(user_id bigint,scores decimal(10,2)) engine=Memory;insert into scores(user_id,s
2020-09-01 17:59:50
1151
1
原创 Clickhouse JSON函数
JSON函数主要有关键字JSON和visitClickhouse> select * from system.functions where name like '%JSON%' union all select * from system.functions where name like '%visit%' FORMAT PrettyCompactMonoBlock;SELECT *FROM system.functionsWHERE name LIKE '%JSON%'UNION
2020-08-31 17:31:18
2822
原创 Clickhouse 数学函数
数学函数列表：示例：参考：https://clickhouse.tech/docs/en/sql-reference/functions/math-functions/https://clickhouse.tech/docs/en/sql-reference/functions/rounding-functions/
2020-08-31 17:25:21
1028
原创 Clickhouse 转换函数
Clickhouse的提供基本的数据类型：整型浮点型日期时间对应的转换函数：判断函数的类型：参考：https://clickhouse.tech/docs/en/sql-reference/functions/type-conversion-functions/
2020-08-31 17:16:32
3657
原创 Clickhouse 参数聚合函数
histogramsequenceMatch(pattern)(timestamp, cond1, cond2, …)sequenceCount(pattern)(time, cond1, cond2, …)windowFunnelretentionuniqUpTo(N)(x)sumMapFiltered(keys_to_keep)(keys, values)参数：https://clickhouse.tech/docs/en/sql-reference/aggregate-functi
2020-08-31 17:10:59
2222
原创 Clickhouse 聚合函数
clickhouse的聚合函数包含了标准SQL的聚合函数，此外还有一些自有的聚合函数：函数功能 函数名 标准OR自有 函数别名 计数 count 求和 sum 求平均 avg 最大值 max 最小值 min 中位数 media any anyHeavy ...
2020-08-31 15:37:10
5572
原创 Clickhouse 数组函数 高阶函数
数组函数的概述：Clickhouse> select version();SELECT version()┌─version()───┐│ 20.8.1.4447 │└─────────────┘1 rows in set. Elapsed: 0.003 sec. Clickhouse> select * from system.functions where name like '%arr%';SELECT *FROM system.functionsWHE.
2020-08-31 11:24:18
12004
原创 Clickhouse 字符串函数
1.基本字符串操作1.1判断是否为空1.2拼接1.3截取1.4字符串长度1.5字符串重复1.6字符串反转1.7追加1.8获取字符串的开头结尾1.9 字符串大小写转换1.10 字符串trim函数1.11 字符串加密和解密2.字符串查找3.字符串替换4.UTF8 相关的函数：Clickhouse> select * from system.functions where name like '%UTF%';SELECT *FROM sys
2020-08-25 21:13:43
34303
原创 Clickhouse 日期时间函数
在日期时间的术语中 粒度主要有 年 月日 时分秒 衍生的有季度和周对应的英语为year，month，day，hour minute second quarter week和时间相关的还有时区的概念，timezone。0.系统自带日期时间函数：1.获取年月日时分秒的函数：2.获取周期时间的开始3.时间周期的加减4.时间段的差距：5.日期时间转换为整数：7.日期时间的格式化参考：https://clickhouse.tech/docs/en/sql-refe...
2020-08-25 19:42:41
7111
原创 Clickhouse 函数 之 数据函数 逻辑函数 比较函数 条件函数
clickhouse支持的函数相当多，要比一般的RDBMS ，Apache Hive，Apache impala提供了更多的函数。随着版本预计还会增加等多的函数名称。Clickhouse> select version();SELECT version()┌─version()───┐│ 20.8.1.4447 │└─────────────┘1 rows in set. Elapsed: 0.005 sec. Clickhouse> select count(1) f
2020-08-25 19:11:55
1126
1
原创 Clickhouse 设计人员须知
Clickhouse提供了很多性能优化的知识，下面介绍clickhouse designer需要知道的技巧，这样很有利于性能的提升。1.使用字段编码减少数据大小：2.使用物化视图寻找最新的数据：3.使用数组存储键值对：4.使用物化列预计算值：5.使用数据字典替换维度表join：6.使用TTL删除过期数据：7.使用复制替换数据备份（use replication instead of data backup）参考：...
2020-08-05 08:06:29
841
转载 Clickhouse 日志表引擎家族
参考：https://clickhouse.tech/docs/en/engines/table-engines/log-family/
2020-08-03 23:43:56
747
原创 Clickhouse 查询优化器采样 (Sampling Query Profiler)
需要的条件：1.开启设置2.安装额外的软件：# yum -y install clickhouse-client clickhouse-common-static clickhouse-server clickhouse-test clickhouse-common-static-dbg --enablerepo=clickhouse-testing 主要是安装软件包：clickhouse-common-static-dbg 软件包较大可视化可视化trace...
2020-08-02 23:34:42
1437
原创 Clickhouse 的group_concat 实现
MySQL的group_concat 函数经常实用，功能蛮强大的。MySQL创建表：create table kpi(emp_no varchar(8),performance varchar(32),month varchar(32));clickhouse 创建表：create table kpi(emp_no varchar(8),performance varchar(32),month varchar(32)) engine=Memory;分别在MySQL和Clickhous
2020-08-01 14:44:47
18286
1
原创 Clickhouse 日期时间 格式转换
中文 和秒的计量 英文缩写 英文全称 毫秒 0.001s ms millisecond 微妙 0.000 001s us microsecond 纳秒 0.000 000 001s ns nanosecond Clickhouse最多只支持到纳秒，多数情况下只需要计算到微妙级别的即可。Clickhouse> select now() dt,now64(3) ms,now64(6) us,now64(9)...
2020-07-27 23:31:12
54847
2
原创 Clickhouse Stream Processing Support
截止目前该功能尚在开发之中。参考：https://github.com/ClickHouse/ClickHouse/pull/8331
2020-07-18 11:33:34
304
原创 Clickhouse TPC-H 测试
在clickhouse的issue中已经提到支持了TPC-H的测试。参考：https://github.com/ClickHouse/ClickHouse/pull/9835https://github.com/ClickHouse/ClickHouse/issues/1708
2020-07-18 09:43:19
1824
原创 Clickhouse Grafana Prometheus ClickHouse_Exporter 实现Clickhouse服务监控
目前比较流行的GPE监控
2020-07-17 17:43:16
902
原创 Clickhouse TPC-DS 测试
截止到目前的版本：clickhouse对 TPC-DS 功能测试并不能完全通过。参考：https://github.com/Altinity/tpc-ds
2020-07-17 17:34:19
1175
原创 Clickhouse Zabbix5.0
Zabbix介绍：选择Zabbix5.0Altinity 公司提供的版本在zabbix3.4上测试通过，Zabbix官方已经提供了对clickhouse监控的支持。参考：https://www.zabbix.com/integrations/clickhouse#tab:3rd_partyhttps://github.com/Altinity/clickhouse-zabbix-templatehttps://www.altinity.com/blog/2018/9/3/click.
2020-07-17 17:29:13
640
原创 Clickhouse集成 clicktail
下载：# curl -s https://packagecloud.io/install/repositories/Altinity/clickhouse/script.rpm.sh | bash#yum search clicktail# yum info clicktailLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.bfsu.edu.cn * extra.
2020-07-17 15:06:41
576
原创 Clickhouse 原生执行计划
在clickhouse 20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到，在20.6版本引入了原生的执行计划的语法。Clickhouse> select version();SELECT version()┌─version()───┐│ 20.6.1.4066 │└─────────────┘1 rows in set. Elapsed: 0.007 sec. 执行计划的语法：EXPLAIN [AST | SYNTAX | PLAN |
2020-07-17 02:19:48
3273
原创 Clickhouse 批量执行SQL文件等常用语句
有一堆或者太长的SQL需要执行，可以写成一个文件，批量执行：clickhouse-client --user 用户名 --password 密码 -d 数据库 --multiquery < /root/temp.sql查看SQL的执行计划：clickhouse-client -h localhost --send_logs_level=trace <<<"SQL语句" >/dev/null导入为csv文件：clickhouse-client --q
2020-07-16 23:31:03
11517
原创 Clickhouse 普通视图
clickhouse拥有普通视图和物化视图，其中物化视图需要独立的存储，而普通视图只是一层简单的查询同义词。普通视图的创建语法：限制：
2020-07-14 23:59:42
6542
原创 Clickhouse 版本号历史
参考：https://github.com/ClickHouse/ClickHouse/issues/8285https://github.com/ClickHouse/ClickHouse/issues/9875https://github.com/ClickHouse/ClickHouse/issues/6501https://clickhouse.tech/docs/en/introduction/history/
2020-07-13 02:33:53
7888
Tricks every ClickHouse designer should know.pdf
2020-08-05
MongoDB in Action, 2nd Edition
2016-04-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人