kylin 增量更新cube设置

最新推荐文章于 2024-01-12 19:07:58 发布
最新推荐文章于 2024-01-12 19:07:58 发布
阅读量3.7k 收藏 3
点赞数 2
分类专栏： kylin 文章标签： kylin cube 增量 更新
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shibuwodai_/article/details/79301426
版权
本文提供了一个基于bash的Kylin Cube增量更新脚本，详细步骤包括获取当前日期、设置结束时间戳，并通过curl命令进行PUT请求，实现Cube的重建。此外，还提及了官方文档中关于批量更新和创建Cube的方法，以及如何通过Java调用HTTP POST请求进行授权。
摘要由CSDN通过智能技术生成

完整脚本，亲测没有问题

#!/bin/bash -

 

cubeName=daily_monthly_alive

 

today=`date +%Y-%m-%d`

 

tdTs=`date -d "$today 08:00:00" +%s`

 

endTime=$(($tdTs*1000))

 

curl --user ADMIN:KYLIN -X PUT -H 'Content-Type: application/json' -d '{"endTime":'$endTime', "buildType":"BUILD"}' http://hostip:port/kylin/api/cubes/$cubeName/rebuild 

-----分割线----------------------

ps:

1、官网给出的批量更新是

http://kylin.apache.org/docs21/howto/howto_use_restapi.html

由于没有成功授权，

最低0.47元/天 解锁文章
动物管理员
关注
专栏目录
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 556
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
理解Kylin中Cube、Cuboid、Cube Segment
杨鑫newlife的专栏
12-05 3666
Cube和Cuboid和Cube Segment Cuboid在kylin中指定在某一种维度组合下所有计算的数据； Cube（Data Cube），即数据立方体，是一种常用于数据分析与索引的基数；它可以对原始数据建立多维度索引。简单来说，一个Cube就是许多按维度聚合的物化视图的集合； Cube Segment是指针对源数据中的某一个片段，计算出...
Kylin 认识及使用RESTful API进行cube的增量更新
小丑鱼1127的博客
11-01 9851
   Kylin 认识及使用RESTful API进行cube的增量更新 版本： spark 2.2.0 kylin：2.5.0 首次登入界面：   首先要创建project： 如果想要查看当前有多少个project： 点击Manage Project: 创建完Project之后，就可以导入hive的数据（kylin是查询hive的数据，根据预计算将结果预写入H...
kylin-增量构建Cube
qq_36079077的博客
06-11 852
1、全量和增量的区别 对于全量构建来说，每当需要更新Cube数据的时候，它不会区分历史数据和新加入的数据，也就是说，在构建的时候会导入并处理所有的原始数据。 我们将Cube划分为多个Segment，每个Segment用起始时间和结束时间来标志。Segment代表一段时间内源数据的预计算结果。增量构建只会导入新Segment指定的时间区间内的原始数据，并只对这部分原始数据进行预计算。 最后，我们可以得到这样的结论：对于小数据量的Cube，或者经常需要全表更新的Cube，使用全量构建需要更少的运维精力，以少量
cube增量更新
weixin_30873847的博客
01-07 375
Cube增量更新 1.建表： -- 用户表 create table zuserinfo ( zid int null, zname varchar(50) null, zpid int null ) -- 订单表 create table zorderinfo ( zid i...
STM32CubeMX X-CUBE-AI更新模型
linxizi0622的博客
07-22 928
这里我们将被修改的工程里面的app_x-cube-ai.c中MX_X_CUBE_AI_Process函数的定义部分直接拷贝过来。如题，我采用一个采用stm32CUBEMX生成了工程，工程里面使用了X-CUBE-AI对自定义的模型进行模型压缩，但是我经常要更新模型，那么怎样更新模型了。然后打开备份的工程文件，并打开 app_x-cube-ai.c和app_x-cube-ai.h这两个文件。可以看到，被修改的工程和备份的工程在 app_x-cube-ai.c文件的。编译+下载程序 大功告成。
数据的更新
kylin_learn的博客
07-20 281
################# #数据的更新 更新列！（删除的是行） ################# -- 1.update...set...where... update Product set sale_price=sale_price*10 where product_type='厨房用具'; #使用null---变成清空 update Product set regis...
Kylin增量cube build的restAPI的时间不准确的BUG
Format的专栏
10-20 3440
Kylin1.6增量cube build的restAPI的时间不准确的bug: 描述：使用restAPI:curl -X PUT -u "ADMIN:KYLIN" -H "Content-Type:application/json;charset=utf-8" -d '{"startTime":1508601600000,"endTime":1508688000000,"buildType"
修改Hive表字段名后更新Kylin Cube的步骤
魔蛇的技术博客
07-16 324
1、把相关Cube给Disable掉并且Purge清理数据。 2、把相关Model中的旧字段去掉后保存。 3、重新Reload新的表结构。 4、修改相关Model和Cube中的字段名。 5、重新构建Cube数据。
【Apache Kylin】增量构建
小哲的博客
06-20 766
增量构建 将Cube划分为多个Segment，每个Segment用起始时间和结束时间来标志。Segment代表了一段时间内源数据的预计算结果。 1.为什么要增量构建 对于大数据量的Cube，减少重复计算。 2.设计增量Cube 2.1设计增量Cube的前提 Cube的定义必须包含一个时间维度，用来分割不同的Segment，称这样的维度为分割时间列（Partition Date Colu...
原来 Kylin 的增量构建，大有学问！ | 原力计划
CSDN资讯
06-01 2497
作者| Alice菌责编 | 王晓曼出品 | CSDN博客Kylin增量构建应用场景Kylin 在每次 Cube 的构建都会从 Hive 中批量读取数据，而对于大多数业务场景来说，Hi...
解决Apache Kylin数据更新不及时与不一致问题的深度分析与策略
最新发布
iwork168的博客
01-12 132
本文针对Apache Kylin在使用中可能出现的数据更新不及时和数据不一致的问题进行了深入剖析。对于数据更新不及时，文章探讨了Cube构建和刷新过程复杂度过高以及刷新策略设置不合理的原因，并提出了优化Cube设计和调整刷新策略的解决方案。对于数据不一致问题，分析了Cube构建或刷新错误和数据源同步问题的影响，建议检查并修复构建错误以及确保数据源同步正确。文章强调通过理解问题根源并实施相应解决方案，可以提升Kylin的数据质量和查询性能，同时提醒用户关注Kylin的最新发展和最佳实践。 Kylin
Apache Kylin Build cube 过程详解、遇到的问题与解决过程、优化思路
终回首的博客
03-08 1393
Apache Kylin的cube的构建过程所做的操作；构建过程中出现过的问题和解决过程；构建过程每一步的优化思路。
kylin cube 增量和全量
weixin_34309543的博客
01-10 1229
2019独角兽企业重金招聘Python工程师标准>>> ...
Kylin定时增量build
10-13 8522
#!/bin/bash ################################################################################################################### ## 脚本功能：之前脚本任务完成后，使用Kylin命令，增量更新Kylin cube ## 修改历史： # #####
Kylin 使用RESTful API进行cube的增量更新
polaris_1的博客
01-16 5478
一、生成鉴权文件，之后每一步都需要使用cookfile.txtcurl -c cookfile.txt -X POST \ -H "Authorization:Basic QURNSU46S1lMSU4=" \ -H "Content-Type: application/json" \ http://hostname:7070/kylin/api/user/authenticationADMIN:K
Kylin学习总结
zxr0130的博客
11-03 675
Kylin官网： https://kylin.apache.org/ http://kylin.apache.org/cn/ 一、概述 Apache Kylin是一个开源的、分布式的分析性数据库。Kylin是为了解决MapReduce编码复杂且效率低的问题。 Kylin的核心思想是利用空间换取时间，采用预处理方法，列出用户所有可能的查询SQL，提前计算各个维度的聚合结果并持久化保存到HBase,并且Kylin支持复杂的join操作。 Kylin支持亚秒级的查询，并且支持高并发。 二、Kylin的特点
Kylin中设计Cube的最佳实践
Kylin支持增量构建策略，以高效地管理大数据的更新。 5. **高级选项**：Kylin提供了一些高级选项来进一步优化性能，例如预计算（Pre-aggregation）、缓存策略、以及查询优化。预计算是在较低粒度上预先计算结果，以...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值