![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Apache Kylin
文章平均质量分 74
kylin基础操作、原理、遇到的问题
终回首
只是向上走,不必听自暴自弃者流的话。能做事的做事,能发声的发声。
有一分热,发一分光,就令萤火一般,也可以在黑暗里发一点光,不必等候炬火。
此后如竟没有炬火:我便是唯一的光。
展开
-
Apache Kylin cube创建过程每一步的优化思路
Apache Kylin 创建cube过程每一步的优化思路。包括创建model的优化思路、创建cube时的优化思路、kylin相关配置文件的优化思路原创 2021-03-14 09:43:16 · 1307 阅读 · 15 评论 -
8.Apache Kylin build cube 报错 Error: java.lang.IllegalArgumentException: Cannot add NaN
1 问题构建cube第9步(#9 Step Name: Build N-Dimension Cuboid : level 2)报错Error: java.lang.IllegalArgumentException: Cannot add NaN2 解决原创 2021-03-12 11:53:27 · 347 阅读 · 2 评论 -
Apache Kylin Build cube 过程详解、遇到的问题与解决过程、优化思路
Apache Kylin的cube的构建过程所做的操作;构建过程中出现过的问题和解决过程;构建过程每一步的优化思路。原创 2021-03-08 19:39:04 · 1111 阅读 · 1 评论 -
7.Apache Kylin 创建cube 第一阶段报错Create Intermediate Flat Hive 报错 MapredLocalTask
一、问题版本:cdh6.2.0kylin3.0.0构建cube第一阶段Create Intermediate Flat Hive,报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask日志:java.io.IOException: OS command error exit with return code: 2, error message: WARNING原创 2021-03-02 20:43:26 · 699 阅读 · 1 评论 -
6.Apache Kylin 查询报错 Coprocessor resource limit exceeded: scanned bytes exceeds threshold
一、问题在kylin页面执行查询语句时报错 Coprocessor resource limit exceeded: scanned bytes 3221248531 exceeds threshold 3221225472版本:kylin 2.6.1查询语句:select distinct control_zone from VIEW_CUBE_3U_FLIGHT_ROUTE_20210204 LIMIT 1000报错日志:2021-02-23 10:09:51,600 DEB原创 2021-02-24 21:20:38 · 471 阅读 · 2 评论 -
5.Apache Kylin 构建 第一步报错 Container complete event for unknown container
版本:Apache Kylin 3.0.0一、问题build cube第一步(#1 Step Name: Create Intermediate Flat Hive)报错Container complete event for unknown containerHive Runtime Error: Map local work exhausted memoryyarn job日志:2021-02-08 17:00:18,379 INFO [RMCommunicator Allocator原创 2021-02-08 18:07:59 · 2016 阅读 · 1 评论 -
4.Apache Kylin build cube 第7步 #7 Step Name: Build Base Cuboid 报错 BufferOverflow
一、问题build cube,时间是从20210114000000到20210115000000#7 Step Name: Build Base Cuboid在第7步报错:BufferOverflow! Please use one higher cardinality column for dimension column when build RAW cube!Kylin 版本:apache-kylin-3.0.0-bin-cdh60报错日志:2021-01-22 10:20:33,55原创 2021-01-25 18:03:59 · 879 阅读 · 0 评论 -
3.Apache Kylin build cube 第一步(Create Intermediate Flat Hive Table)失败
一、问题kylin版本:3.0.0CDH版本:6.2.0问题描述:几分钟内提交8个build cube任务。top命令看到kylin所在节点cpu飙升到了100,找到对应的进程id,cd /proc/id下,发现都是kylin的进程,kill -9 杀死所有进程。重启一下kylin看看,重启后发现下面的日志。重启后,重新构建一个cube,在yarn页面可以看到build的第一个阶段已经完成,但是kylin界面显示仍然在执行Create Intermediate Flat Hive Table。看ky原创 2020-11-10 19:07:06 · 1508 阅读 · 0 评论 -
2.Apache Kylin 清理存储 kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true 进入阻塞状态
一、问题kylin在hive中和hbase中创建了太多中间表,于是想要清理一下,执行官方提供的清理命令时进入阻塞状态,这个命令之前运行过是没问题的清理命令${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true在等待了10分钟后,终于决定停掉看看这个命令是什么原理。二、解决其实是先想到思路二,在按照思路二干的时候突然想到思路一的。由于思路一更快的解决了问题,所以就把思路一放到了前面。原创 2020-09-18 20:36:16 · 605 阅读 · 0 评论 -
1.kylin build cube Java heap space OutOfMemory
kylin build cube Java heap space OutOfMemoryApache Kylin版本:2.6.1一、问题build cube时,出现Communication exception: java.lang.OutOfMemoryError: Java heap space日志:Logged in as: dr.whoLogs for container_1559093308035_0009_01_000042ResourceManager* RM HomeNo原创 2020-07-03 14:54:46 · 761 阅读 · 0 评论