求解答贴：KYLIN CUBE BUILD问题

最新推荐文章于 2022-04-20 10:31:18 发布
最新推荐文章于 2022-04-20 10:31:18 发布
阅读量179 收藏
点赞数
分类专栏： Kylin OLAP 文章标签： kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junjun56/article/details/120334452
版权

kylin有2个cube，在Extract Fact Table Distinct Columns 这一步

一个能正常运行，看到加载的信息是这个
Initialized a new KylinConfig from getInstanceFromEnv : 254918854  

另外一个不能正常执行，加载的环境信息是这个
Initialized a new KylinConfig from getInstanceFromEnv : 748975217  

有操作修改过失败cube的相关维度信息

问：有遇到这个问题的大神吗？

==========

2021-12-02 这个问题是因为kylin的元数据存在混乱，极大概率出现的原因是：cube的clone（clone后的名字和之前一样，之前的删除掉）或者在元数据迁移的时候

可以手动修改cube_desc再重新刷回去，但存在风险，最简单的做法是：删除新建一个不一样的，然后使用metastore的clean操作，清空后再重新改回之前的cube名称

不悔将来
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kylin_modify:kylin源码修改-修改
03-24
kylin_modify:kylin源码修改
Apache Kylin原理学习之Cube的创建与Build
勤能补拙
04-26 2510
原文地址：http://lxw1234.com/archives/2016/05/655.htm Cube是一种典型的多维数据分析技术，一个Cube可以有多个事实表，多个维表构成。如果您还不了解这些概念，建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子，分析网站流量的Cube，包含一个事实表和四个维度表： 事实表可能有以下字段： 天、来源ID、浏览器ID
kylin报错及解决方案总结
zhangxiaomei1952的博客
02-06 1万+
一、在build cube这一步中报错：Value not exists! 查询该步的mr日志，提示 Not a valid value：2017-05-31，有两种可能 1.该错误是由于build过程中，所引用的维表数据发生了变化，使用该值查询维表，维表中不存在这条数据。 2.olap表关联了维表，但只使用了关联字段，如果olap表的code在维表里不存在，则会报错
Apache Kylin Build cube 过程详解、遇到的问题与解决过程、优化思路
终回首的博客
03-08 1053
Apache Kylin的cube的构建过程所做的操作；构建过程中出现过的问题和解决过程；构建过程每一步的优化思路。
Kylin 的cube创建成功 但Build失败
Cruise的博客
06-05 2783
Create and distribute table, cmd: hive -e "SET dfs.replication=2; SET hive.exec.compress.output=true; SET hive.auto.convert.join.noconditionaltask=true; SET hive.auto.convert.join.noconditionaltask.si
kylin中cube的build过程中，有没有遇到这个
xiaopeng9275的博客
04-08 1393
java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=1, exceptions: Mon Apr 08 16:43:50 GMT+0...
麒麟：Apache Kylin
02-27
阿帕奇·基林（Apache Kylin） 适用于大数据的Extreme OLAP引擎Apache Kylin是由eBay Inc.贡献的开源分布式分析引擎，它在Hadoop上提供SQL接口和多维分析（OLAP），并支持超大型数据集。 有关更多详细信息，请参见...
kylin集群部署问题1
08-08
问题二、比如两节点都安装Nginx，Nginx也要两个节点都装么？如果只装节点1，那么节点1挂了，kylin是不是就不能用了，如果装两个节点，Nginx能实现自
大数据技术之Kylin视频教程
07-08
本套视频教程版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎全部升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。...
kylin-arm-64V10网络问题依赖包
最新发布
12-19
原本里面有2个文件夹，第一个升级networkmanager这个，第二个kylin-nm这个，我已经把kylin-nm 依赖包移除，安装会黑屏 安装方式 进入networkmanager sudo dpkg -i ./*.deb
kylin填坑记--创建cube时遇到的两个坑
臭臭猫
04-10 7217
创建cube时，最容易出错的地方就是在 Build Dimension Dictionary这步，也就是第四步。如下图这步，kylin后台会做很多关于字段的检查。遇到的两个坑，正是发生在这步，因为数据本身有这样的问题：第一，维度表中类型为longtext的字段description（存的描述信息，很长），其长度超出Short.MAX_VALUE（short值得范围：-32768-32767）。尽管...
kylin KV+cube方案分析
weixin_33775572的博客
01-27 555
2019独角兽企业重金招聘Python工程师标准>>> ...
【Kylin】Kylin中的cube构建
热门推荐
Hello World
12-20 2万+
kylin如何构建cube的，从原始数据（hive）到目标数据（hbase）的过程。
Kylin Cube Build(二)：构造任务链
Copperfield的技术成长专栏
07-06 1229
Kylin Cube Build的任务链构造 以MR_V2为例 构建过程的时序单位为step，在代码中有些step也称做task 初始化操作 构建cube的程序入口: new BatchCubingJobBuilder2(newSegment, submitter).build() 日志输出: logger.info("MR_V2 new job to BUI...
Kylin构建Cube,突然一直构建失败(return code 2；state=08S01,code=2)
qq_18453581的博客
04-20 3069
问题描述 build日志的第一步就失败了 报错信息: java.io.IOException: OS command error exit with return code: 2, error message: ls: cannot access /opt/odeon/hive/client/apache-hive-2.0.1-bin/lib/hive-jdbc-*-standalone.jar: No such file or directory Error: Error while proc
Kylin build cube step 2 报错
08-14 2765
Hive 1.2.1 HBase 0.98Kylin 1.5.1 Hadoop 2.5.1 2016-08-14 13:45:34,681 INFO  [pool-3-thread-4] execution.AbstractExecutable:114 :  -conf /opt/apache-kylin-1.5.1-bin/conf/kylin_job_conf.xm
kylin build过程详解
resemble的博客
01-25 2933
目录 1. 计算cuboid文件 1.1 生成原始数据（Create Intermediate Flat Hive Table） 1.2 创建事实表distinct column文件（Extract Fact Table Distinct Columns） １.3 创建维度词典（Build Dimension Dictionary） 1.4 计算生成BaseCuboid文件（Build ...
kylin1.6.0构建build测试cube出错
我的博客
02-08 6276
安装好kylin以及所需的环境之后，在build测试cube之后，发现出现了如下错误： 2017-02-07 11:47:34,278 ERROR [pool-9-thread-2] execution.AbstractExecutable:370 : job:63a77287-4de9-44aa-a714-a40c780dec22-01 execute finished with except
Kylin构建Cube过程详解
深蓝旭的博客
12-15 1216
1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的build会生成一个segment，每一个segment对应着一个时间区间的cube，这些segment的时间区间是连续并且不重合的，对于拥有多个segment的cube可以执行merge，相当于将一个...
kylin build cube 的时候 数组越界问题
03-08
对于这个问题，我可以...在 kylin build cube 的过程中，如果出现数组越界问题，可能是由于数据源中存在异常数据或者数据格式不规范导致的。解决方法可以通过检查数据源，对异常数据进行清洗或者调整数据格式来解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值