![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
用户画像
高并发
多年clickhouse使用经验,熟悉java开发大数据开发
展开
-
用户画像(二):明细uid写入clickhouse本地表
1.背景导入uid集合的csv文件到ck中,由于导入文件的uid集合可能过大,写all可能存在阻塞问题,所以改为使用jdbc形式写本地表。2.思路如下是ck普通的一张替换引擎表,当往all写入数据的时候,all表会将你写入的数据,按uid的intHash32的值,取余12来写入到各个分片,如果我们也要写本地表,也可以按照这个方式,将数据hash取余分成12份(笔者的机器是12分片),通过查询system.clusters获取ck各个分片地址,拼接成jdbc的方式,写入到每个分片中。create t.原创 2022-02-17 18:46:47 · 1104 阅读 · 0 评论 -
用户画像(一):clickhouse AggregateFunction(groupBitmap, UInt64)
1.groupBitmap用于存储UInt64数值,且自动去重,这对于我们存储uid非常的适合。2.使用通过配置宽表,我们可以得出一些基本的画像规则,用来制定一些常用的标签属性,如性别,地理位置,星座等。--字符型标签select uid, case when birthday in ('1970-01-01', '1990-03-21', '2000-01-01') then '未知' when birthday >= toDate原创 2021-12-16 16:53:11 · 2226 阅读 · 1 评论