OLAP
xwhfcenter
这个作者很懒,什么都没留下…
展开
-
Kylin Cube Build(一):接口说明
Kylin Job Build流程Cube的三种构建类型在CubeBuildTypeEnum中定义了三种类型的build job原创 2016-08-23 19:04:24 · 2496 阅读 · 1 评论 -
Kylin资源加载的方式 一
Kylin资源加载的方式 一在Core Common Module中, persistence包下有一个抽象类ResourceStore,它有两个子类,分别是FileResourceStore和HBaseResourceStore原创 2016-10-26 21:32:53 · 1236 阅读 · 0 评论 -
Druid平台搭建手册
Druid平台搭建手册机器和系统的标准规划机器初始化, 创建用户druid程序安装在/home/druid/software目录下数据存放在SSD盘上, 挂载目录为/data, 新建一个名为druid的文件夹权限授予, druid的用户仅能访问/home/druid和/data/druid机器角色划分和配置Druid集群不同类型的节点从功能上可以分为3个部分:...原创 2018-07-03 15:39:13 · 1329 阅读 · 0 评论 -
Cube的维度优化
Cube的维度优化Cube的优化目的始终为: 空间优化和查询时间优化 随着维度数目的增加, Cuboid 的数量会爆炸式地增长 为了缓解Cube的构建压力, Apache Kylin引入了一系列的高级设置, 帮助用户筛选出真正需要的Cuboid 这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierac...原创 2018-07-04 10:14:38 · 749 阅读 · 0 评论 -
Cube的其他优化
Cube的其他优化并发粒度控制 当Segment中某一个Cuboid的大小超过一定的阈值时, 系统会将该Cuboid的数据分片到多个分区中, 以实现Cuboid数据读取的并行化, 从而优化Cube的查询速度 每个Cube可以单独进行配置 参数设置: kylin.hbase.region.cut: 默认值5.0, 单位GB, 指定了每个分区的大小kyl...原创 2018-07-04 10:15:16 · 384 阅读 · 0 评论 -
Kylin Cube Build(二):构造任务链
Kylin Cube Build的任务链构造 以MR_V2为例 构建过程的时序单位为step,在代码中有些step也称做task 初始化操作构建cube的程序入口: new BatchCubingJobBuilder2(newSegment, submitter).build()日志输出: logger.info("MR_V2 new job to BUI...原创 2018-07-06 16:42:28 · 1239 阅读 · 2 评论 -
精确去重和Roaring BitMap
Roaring BitMap的简单分析BitMap概述互联网行业求UV的精确去重算法主要通过BitMap实现,它本质上是定义了一个很大的 bit 数组,每个元素对应到 bit 数组的其中一位对于基础的Bitmap来说,一个Integer是32-bit, 一共有Integer.MAX_VALUE=2 ^ 32个值,这就需要2 ^ 32长度的bit数组通过计算可以发现(2 ^ 32 / 8...原创 2019-07-11 11:14:04 · 4081 阅读 · 0 评论