kylin1.5新特性 new aggregation group

最新推荐文章于 2024-07-08 07:45:49 发布
最新推荐文章于 2024-07-08 07:45:49 发布
阅读量60 收藏
点赞数

终于啃完并理解了，我果然弱鸡。
new aggregation group，是kylin 1.5的新特性；
老版本中的agg是需要选中所有可能被使用的纬度字段，以供查询；但存在高纬度的查询需求，例如查询某订单编号编号的数据，这时应该仅仅做filter，而不需要为此做cube，但在老版本的agg中，是不允许在group中来制定prune细节。
而新的特性中，new agg允许设置field是compute（参与cube）还是skip（不参与cube）

 

http://kylin.apache.org/blog/2016/02/18/new-aggregation-group/

weixin_34224941
关注
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 580
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
Kylin - 分析数据
阿里Darker
05-26 4355
I. Create a Project Go to Query page in top menu bar, then click Manage Projects. Click the + Project button to add a new project. Enter a project name, e.g, “Tutorial”, with a descrip
Kylin系列-Apache Kylin优化–高级设置：聚合组（Aggregation Group）原理解析
weixin_41279060的博客
12-05 2954
本文转自apachekylin公众号。 “随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维度（Mand
Kylin查询遇到的问题
xiaozhaoshigedasb的博客
06-12 2167
2019-06-12 16:14:39,163 ERROR [pool-11-thread-65] v2.CubeHBaseEndpointRPC:426 : <sub-thread for Query 420d4628-7540-0e9c-fbe0-d41952ba719d GTScanRequest 3e4efc6d>Error when visiting cubes by end...
Kylin有关HBase的协处理器
xiaozhaoshigedasb的博客
06-11 2552
org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop .hbase.DoNotRetryIOException: Coprocessor passed deadline! Maybe server is overloaded at org.apache.kylin.storage.hbase.cube.v2...
ApacheKylin-3.1.0-Windows本地开发环境测试
willyan2007的博客
05-17 421
排查yarn详细日志 yarn logs -applicationId application_1590551653017_0033 准备数据 准备hive表 Load hive table 操作 创建Model和Cube Cube Build构建 Build操作 问题列表 基于MR Build Cube六大步骤，第一个大步骤“Create Intermediate Flat Hive Table”时就报错了。 第一个问题 bash: hive: comman.
详解New AggregationGroup
美伊小公主的超级奶爸的专栏
12-20 1740
1 重要但隐藏的概念 kylin的一些概念，文档中不会特别说明，但是如果你想了解Kylin的内部原理时，就必须需要理解。 1.1 什么是Base Cuboid 如一个需要通过kylin计算的hive表的维度为: [A, B, C], 那么[A,B,C]这个整体的维度组合, 就叫做Base cuboid. 1.2 什么是includes数组 一个Aggregation
Kylin操作手册
杨鑫newlife的专栏
12-05 931
在读此文章前建议读一下核心概念： Kylin多维分析核心概念树立 1.创建项目Project； 2.导入数据 load hive table 通过表名导入数据； load hive table from tree 可以直接选择表； 最后是实时数据接入，Kafka等； 3.创建模型 输入模型名称，注意模型名称在整个Kylin应用下具有唯一性，而不是只在单个项...
数据分析引擎之Kylin学习笔记
m0_67393827的博客
05-20 481
文章目录 理论知识 介绍 架构 REST Server 查询引擎(Query Engine) 路由器(Routing) 元数据管理工具(Metadata) 任务引擎(Cube Build Engine) 特点 安装配置和启动 bin/find-spark-dependency.sh tomcat/conf/server.xml 启动与关闭 web界面 使用 数据准备 创建Kylin项目 创建Model 创建Cube 查询 编写Kylin SQL时的注意事项 每日自动构建Cube
hbase coprocessor小实践引发的对coprocessor异常处理机制的探究
关注大数据~
10-23 2871
最近又翻回头看了看hbase cp相关的东西，就思考写一个实例，其中包含masterobserver、regionobserver和endpoint。最终大致定了这么一些场景： 对于表名符合相关规则的表在建表的同时再建一个与之相关的sibling table； 自定义InternalPut，只允许使用InternalPut来插入数据，并且给该InternalPut增加一个名为heapsiz
New Aggregation Group(新聚合组)
gavin_g_feng的博客
12-07 6943
本文根据Apache Kylin官方文档翻译 详见http://kylin.apache.org/blog/2016/02/18/new-aggregation-group/ 新聚合组（New Aggregation Group） 文章全标题：新聚合组处理维度灾难问题(尤其是当高基数维度存在的时候) 摘要： 对于所有的基于预计算的OLAP引擎来讲维度灾难是臭名昭著的问题。在1.5之前的版本
[数仓]七、离线数仓（Presto&Kylin即席查询）
最新发布
weixin_44428807的博客
07-08 273
第1章 Presto 1.1 Presto简介 1.1.1Presto概念 1.1.2 Presto架构
Kylin源码解析——Cube构建过程中如何实现降维
混混的博客
06-26 3753
-维度简述Kylin中Cube的描述类CubeDesc有两个字段，rowkey和aggregationGroups。@JsonProperty("rowkey") private RowKeyDesc rowkey;@JsonProperty("aggregation_groups") private List<AggregationGroup> aggregationGroups;其中rowkey
hbase 查询大量数据异常并解决方法
热门推荐
dub_lys的博客
08-07 1万+
java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 66216ms passed since the last invocation, timeou t is currently set to 60000         at org.apache.hadoop.hbase.cl
Kylin系列-Apache Kylin优化之—Cube的高级设置
weixin_41279060的博客
12-06 1494
本文从apachekylin公众号系列文章整理。 随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维
大数据应用笔记:Phoenix +HBASE 在JAVA应用中错误一例“hbase.DoNotRetryIOException”
安优小青和他的程序生活
04-08 3437
项目中使用了Phoenix +HBASE的大数据平台。 JAVA8 + Mybatis + SpringMVC 框架下，无论是通过 phoenix-4.14.0-cdh5.14.2-client.jar 驱动来查询数据表还是通过 SQuirrel 客户端工具查询界面来访问该数据表，均报以下错误： org.apache.phoenix.exception.PhoenixIOException...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值