ClickHouse
Watch_dou
一名算法工程师,欢迎交流,由于比较忙,来不及回复评论,有事可以私戳我
展开
-
ClickHouse常用函数统计
1、统计类函数1.1 分位数90%分位数:quantile(0.9)()在求(平均)响应时间时用到,quantile(0.9)(url_rt)1.2 中位数median()还未使用到,median(url_rt)1.3 相关系数计算x与y的相关系数,计算公式:∑(x−x‾)(y−y‾)∑(x−x‾)2∑(y−y‾)2\dfrac{\sum(x-\overline{x})(y-...原创 2018-10-16 11:10:51 · 55671 阅读 · 6 评论 -
读取MySQL中的数据写入到ClickHouse
读取MySQL中的数据写入到ClickHouse,写入语句如下:insert into ck_db_name.ck_tb_name (字段1, 字段2, ...) SELECT 字段1, 字段2, ...FROM mysql('host:port', 'database_name', 'table_name', 'user_name', 'passport')也可以用Python...原创 2019-02-01 14:43:12 · 14505 阅读 · 0 评论 -
ClickHouse中表的操作
1、删视图表与本地表DROP table db.视图表 ON CLUSTER cluster_name;DROP table db.本地表 ON CLUSTER cluster_name;2、删表的列ALTER TABLE db.视图表 ON CLUSTER cluster_name DROP COLUMN column_name1, DROP COLUMN column_name2;...原创 2019-01-17 17:30:00 · 25175 阅读 · 2 评论 -
ClickHouse函数整理(详细)
无标题.md 1、日期类函数  1.1 时间或日期截取函数(to)—— 返回非日期函数用途举例结果toYear()取日期或时间日期的年份toYear(toDateTime('2018-12-11 11:12:13'))             &nbsp原创 2018-12-25 16:24:29 · 113408 阅读 · 14 评论 -
Python将数据写入ClickHouse
from clickhouse_driver import Client# connect ClickHouseclient = Client(host= ,port= ,user= ,database= , password=)# 得到table1中查询的数据导入table2中(database2中应该事先建立对应的table2表)query_ck_sql = """ SELEC...原创 2018-12-18 18:58:49 · 9316 阅读 · 4 评论 -
ClickHouse正则匹配内网IP
去掉内网的SQL查询SELECT date,ts, domain ,count(1) as total FROM db.tb WHERE date=today() AND (replaceRegexpAll(_pingip, '^(127\\.0\\.0\\.1)|(localhost)|(10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3})|(172\\.((1[6-...原创 2018-11-13 09:26:14 · 10891 阅读 · 0 评论 -
ClickHouse一个表字段与另一个表字段匹配与否增加一个字段标识
A表字段与B表字段匹配与否增加tag===>A表增加一列,与B匹配的(S2)增加列值为1,否则(S1)0 。SELECT date, ts, pin, ip_country, ip_province, ip_city, yes_noFROM(SELECT date, ts, pin, ...原创 2018-11-07 13:16:24 · 8113 阅读 · 0 评论 -
ClickHouse全连接
A全连接B===>S1+S2+S3区域SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WHERE (date = today()-1) UNION ALLSELECT date, ts, country, ...原创 2018-11-07 13:07:17 · 2917 阅读 · 0 评论 -
ClickHouse内连接
A内连接B===>S2区域SELECT date, ts, country, province, city, ye_noFROM(SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WH...原创 2018-11-07 13:04:50 · 3562 阅读 · 2 评论 -
ClickHouse左连接
A左连接B===>S1区域SELECT date, ts, country, province, city, ye_noFROM(SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WH...原创 2018-11-07 13:02:15 · 5922 阅读 · 5 评论 -
ClickHouse全连接
SELECT date,address AS domainFROM db.tableWHERE date = today()GROUP BY date,domainUNION ALLSELECT date,address AS domainFROM db.tableWHERE date = today() - 1GROUP BY date,domain ;原创 2018-11-06 16:30:43 · 2698 阅读 · 0 评论 -
ClickHouse中建表默认指定数据写入时间
例如:下表中的insert_time、date两个字段是在每次写入数据都不需要指定的,系统会自动生成。非all表CREATE TABLE db_name.tb_name ON CLUSTER bip_ck_cluster ( ip String, cdn String, insert_time DateTime DEFAULT now(), date Date DEFAULT to...原创 2019-02-01 14:54:09 · 16813 阅读 · 4 评论