![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
clickhouse
文章平均质量分 53
喜欢吃燕麦粥的KeyL
这个作者很懒,什么都没留下…
展开
-
Grafana DashBoard : ClickHouse
监控类工具/视图 :Zabbix promtheus Grafana Loki 等对于ClickHouse 监控 ,原理上大同小异 :监控工具 prom 定时监控一些系统参数, 展示到Grafana 可视化界面。而Grafana 与 Zabbix 自身也可修改Source源,通过SQL监控一些数据库参数。本文介绍: Grafana 的使用 ,以ClickHouse Source 为例官网:https://grafana.com安装就先不介绍了,博客都有。...原创 2020-12-14 08:59:59 · 1020 阅读 · 2 评论 -
ClickHouse and K8s
最近k8s热度很高,于是调研一下clickhouse on k8s 的相关资料,并总结如下:情景一:用 ClickHouse 记录 K8S 产生的 集群日志。 1. 为什么不用es : es上手难度高,故障排查困难,维护索引和映射麻烦,性能不高. es优势 :固定文本结构与格式、日志处理、分析不需要全文索引。 个人认为 :es 处理日志,文本,模糊查询之类的优势还是很大的。 ...原创 2020-12-11 16:16:26 · 1085 阅读 · 0 评论 -
ClickHouse函数整理
1、日期类函数1.1 时间或日期截取函数(to)—— 返回非日期函数 用途 举例 结果 toYear() 取日期或时间日期的年份 toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’)) 返回 2018 返回 2018 toMonth() 取日期或时间日期的月份 toMonth(toDateTime(‘2018-12-11 11:12:13’)) toMonth转载 2020-12-04 16:23:28 · 394 阅读 · 0 评论 -
Kettle连接Clickhouse 自定义插件
当前环境:clickhouse 19.15.1.1 (19年的老版本ch ,还未更新过)kettle 8.1.0.0-365 (因为8.1对parquet 支持较好,所以选了这个版本)当前问题:kettle -8 目前提供的JDBC 没有clickhouse。 需要自己手写插件,集成到kettle 系统。前期准备:搜到过类似新增JDBC的文章,包括:官网提供的自定义连接的方法 和 神通数据库的案例。官网提示地址:https://help.pentaho.com/Documen...原创 2020-12-04 12:36:20 · 7935 阅读 · 25 评论 -
ClickHouse 生产集群部署之常见问题
最新部署了一套新的测试集群,更改config.xml 的<listen_host>::</listen_host>监听所有ip 的访问时,遇到配置无效。server restart return UNKNOW .或者server 启动后自动断开查看/var/log/clickhouse-server/*发现问题/9000端口被占用了<Error> Application: DB::Exception: Listen [::]:9000 faile...原创 2020-12-03 16:56:22 · 2640 阅读 · 3 评论 -
ClickHouse JDBC引擎之clickhouse-jdbc-bridge
ClickHouse 自带MYSQL引擎,KAFKA引擎,JDBC等尝试clickhouse查询mysql/oracle/sql server数据,此处应用到JDBC 疫情。使用JDBC引擎,需安装第三方插件clickhouse-jdbc-bridge。目前clickhouse-server 还未集成该功能(后面可能会有此处优化)。因此需自主下载插件,安装到server 环境中clickhouse-jdbc-bridge github地址 :https://github.com/Click...原创 2020-12-03 13:06:55 · 1997 阅读 · 0 评论 -
linux 与 clickhouse 配合的常用命令
ls-alh 显示文件大小du -sh * 显示当前目录下的文件大小scp发送文件: scp ./a.xml dev_big@172.16.20.47:/home/dev_big/a.xmlwc -l 查看总行数tail -n 200 查看最后200行tail -100 |grep error 查看最后200行errorsed -n '7197000,7197500p' clickhouse-server.err.log 查看指定行区间内容top 实时cpu memfree.原创 2020-10-14 08:31:48 · 1488 阅读 · 1 评论 -
Clickhouse连接Tableau
一.配置本地ODBC 1.下载clickhouse ODBC 源 ,安装至本机 地址: https://github.com/ClickHouse/clickhouse-odbc/releases/download/v1.1.7.20200414/clickhouse-odbc-1.1.7-win64.msi 2.打开开始菜单,搜索ODBC配置数据源3.添加本地clickhouse ODBC driver4.按要求填写 host,port,name,datab...原创 2020-05-15 11:31:58 · 4499 阅读 · 0 评论 -
ClickHouse Join篇
join:1.Alter table mt drop partition '' 可删除本地分区 集群表的分区需要依次删本地表alter table dwd_dms_msg_detial_di drop partition ('201912','20191226')2.join 减少列,临时表不能起别名,只能更改字段名 避免冲突模糊不清3.普通join数据发到远程服务器形成右表 gl...原创 2020-05-06 21:04:02 · 4701 阅读 · 0 评论 -
ClickHouse 零散小知识总结(二)
1.重命名 rename table t1 to t22. SQL row() number 问题 因为clickhouse不支持开窗函数,特此写一个复杂sql 代替该函数的功能 select uid, value, row_number from( select uid, groupArray(value) as value_list, arrayEnumerate...原创 2020-05-06 20:59:13 · 865 阅读 · 0 评论 -
ClickHouse 零散小知识总结
1. clickhouse-jdbc 使用 google 的 cityhash128 算法实现,可SELECT cityHash128(*) 查看2.python 连接 from clickhouse_driver import Client client = Client(host='127.0.0.1', database='ads', user='default', ...原创 2020-05-05 15:37:12 · 471 阅读 · 0 评论 -
clickhouse 生产集群部署之坑坑洼洼
之前看过ck中文社区,看到了很多莫名其妙的Exception 但并没有解答。自己测试集群小量数据抽取也没有遇到这些问题。果不其然,生产集群部署都跳了一遍新增相关配置:网上找的,与我原本的配置的一些不同点<receive_timeout>800</receive_timeout> <send_timeout>800</send_time...原创 2019-12-03 15:57:34 · 7580 阅读 · 3 评论 -
clickhouse 生产集群部署之坑坑洼洼(二)
clickhouse时间时区问题,配置文件:clickhouse.config.xml配置标签:<timezone>Asia/Shanghai</timezone>机器系统时间:date 、 timedatectl问题描述:业务接口实时插入数据(包含当前时间字段),但插入后显示时间为纽约时间、莫斯科时间等可能原因:1.建表时,元数据默认机器或莫斯科...原创 2019-12-04 16:42:05 · 1938 阅读 · 0 评论 -
clickhouse 生产集群部署之坑坑洼洼(三)
Join 语句问题SELECT <expr_list>FROM <left_subquery>[GLOBAL] [ANY|ALL] INNER|LEFT|RIGHT|FULL|CROSS [OUTER] JOIN <right_subquery>(ON <expr_list>)|(USING <column_list>) .....原创 2020-03-31 20:08:22 · 578 阅读 · 0 评论 -
ClickHouse 更新操作
clickhouse 更多应用在 查询select 和写入insert 上。 提供部分更新操作,但相比其他各大数据库的更新操作来说,效果已经很好了,下面来详细介绍一下 更新这一块。更新:1.update 及 delete 可以借用 alter table 进行单机表少量数据操作,(提示:truncate table 大量数据会造成卡顿,若在未完全清理情况下 ctrl+c 强行退...原创 2020-05-05 11:49:05 · 11831 阅读 · 0 评论 -
clickhouse ReplacingMergeTree及存储知识
业务场景:存在实时数据,需要更新当前情况:单机表可以实现 增删改查操作。但是集群表不行,特此引入ReplacingMergeTree引擎,实施ch后台自动去重操作特别提示:该引擎不能完全依赖去做去重,可能因为merge合并及诸多原因,存在极少量去重失败情况实际部署:本地表:ReplacingMergeTree(【ver】) PARTITION BY day PRIMARY KE...原创 2020-04-22 19:48:09 · 2864 阅读 · 2 评论