![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
clickhouse
wppwpp1
这个作者很懒,什么都没留下…
展开
-
Olap引擎如果不支持分页,使用其他做支持使用
1、clickhouse原生不支持limit m,n的分页查询,可以通过 select user_id from table1 where user_id >='userid1' order by user_id limit n。来实现分页。同时结束条件通过按照查询的结果集合小于n来结束。2、其他olap如果不支持limit m,n的方式,也可以使用这种机制。...原创 2020-12-30 14:07:02 · 194 阅读 · 0 评论 -
ClickHouse的负载均衡如何做。
1,负载均衡。目前我们公司后台使用clickhouse,来做数据的离线分析;配置为四台集群(shard)通过springboot+clickhouse-jdbc完成服务与clickhouse jdbc的连接;使用的是clickhouse官方,BalancedClickhouseDataSource(urls,properties),做到四台服务之间的负载均衡;网上很多资料都表示这个包虽然可以做到一定程度的负载均衡,但是无法做到故障转移;按照大家的推荐,我本地是nginx搭建clickhouse-jd转载 2020-10-23 00:57:14 · 3561 阅读 · 2 评论 -
通过waterdrop把HIVE的数据同步到clickhouse
-- 第一步,在hive建一个 ck临时表,同时把sql在easyschedular ,命名为 dwd_ord_car_sharing_df_ck.hqldrop table cdm_dwd.dwd_ord_car_sharing_df_ck;create table cdm_dwd.dwd_ord_car_sharing_df_ck stored as orc asselectorder_id ,p_order_id ,order_no ,merchant_order_no ,title原创 2020-09-10 20:12:45 · 2005 阅读 · 0 评论 -
clickhouse 升级服务流程
所有权限均在root下操作 先停止zk服务器。部署在dn1,dn2,dn4. 进入zk的目录: cd /root/app/zookeeper 停止服务: sh bin/zkServer.sh stop 关键业务表数据统计,并把数据检查一下是否有丢失。 查看zk服务是否真正停止sh bin/zkServer.sh status,并观察日志信息 在四台机器停止clickhouse服务(四台机器都要执行) :service clickhouse-server stop , 然后执行servi...原创 2020-09-10 16:41:23 · 335 阅读 · 0 评论 -
linux排查问题一些命令操作
查看某个目录是否有读写操作lsof /tmp原创 2020-09-04 20:19:31 · 164 阅读 · 0 评论 -
自定义udf把mysql的表结构自动转换成clickhouse的表结构
1,因业务需求,需要把mysql的数据同步到clickhouse,但是clickhouse建表语法有比较繁琐,故写了一个udf来生成数据package com.crgt;import com.crgecent.common.util.DateUtil;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import原创 2020-07-02 21:07:33 · 1407 阅读 · 3 评论 -
hive的udf通过Waterdrop把hive的数据抽到ClickHouse
1,因业务需要把hive的数据通过WaterDrop抽取到clickhouse,但是每次都要写配置文件,故写一个配置文件自动生成配置信息.1,版本信息:waterdrop版本 :1.5.0spark版本:3.0.0 hive版本: 3.0.02,因为waterdrop抽取hive的分区表有点问题,所以目前只支持非分区表的情况,如果有需要支持分区表,可以修改udf完成支持package com.xxx;import org.apache.hadoop.hive.ql.e..原创 2020-07-02 20:42:47 · 1084 阅读 · 0 评论 -
clickhouse多表join和子查询的出现错误修复
1,因业务需要,需要对多张表进行join,但是进行子查询是出现问题,通过问题排查,发现在子查询需要把两张表的join进行别名处理。1.1 错误代码如下:select a.dd,a.sourcetype,count(distinct a.imei) pv,countDistinct(a.imei) uv,countDistinct(a.user_id) uv2,countDistinct(case when a.click='是' then a.imei end) pv_click,cou原创 2020-07-02 18:09:03 · 5759 阅读 · 0 评论 -
ClickHouse支持row_number函数,相关的demo如下
1,ck对窗口函数支持不是太好,只是有限的支持。表结构如下:CREATE TABLE warehouse.c_click_common_16_cls (`id` String, `app_version` Nullable(String), `guid` Nullable(String), `imei` Nullable(String), `mac` Nullable(String), `channel_id` Nullable(String), `tel_opr` Nullable(String)原创 2020-06-23 20:16:36 · 3478 阅读 · 0 评论 -
spark Streaming 自定义source数据,并实时写入到clickhouse
1,自定义source,实时产生数据package com.crgt.gtdata.customimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.receiver.Receiver/** * @Author: wpp * @Date: 2020/5/4 23:36 * *///自定义数据源 wppclass CustomSourceReceiver() extend原创 2020-05-19 15:27:15 · 2719 阅读 · 1 评论 -
最全的clickhouse的增删改查以及导入导出操作
---客户端链接工具clickhouse-client -m -u root -p root查询正在进行执行的sql操作SHOW PROCESSLIST建表语句create TABLE test.test( id Int32,create_date Date ,c2 Nullable(String) )engine=MergeTree(create_date,id,(c3,c2),8192);表变更预计ALTER查询只支持MergeTree表,。该查询有几个变体。ALTER T.原创 2020-05-09 16:11:34 · 7151 阅读 · 0 评论 -
最全的clickhouse梳理
下面的相关代码,全是基于生产环境部署实践的,---客户端链接工具clickhouse-client -m -u root -p root--大小写敏感的CREATE TEMPORARY TABLE IF NOT EXISTS test.member_new_simple2 ENGINE = MemoryAS SELECT ID,user_id,member_grade,accum_amount from test.member_new;-- SHOW PROCESSLIST查...原创 2020-05-09 16:01:42 · 2124 阅读 · 1 评论