Kylin
乖乖猪001
这个作者很懒,什么都没留下…
展开
-
HIVE / KYLIN的日期函数
KYLIN:SELECT TIMESTAMPADD(DAY, -7, CURRENT_TIMESTAMP) -- 2021-04-17 17:48:25SELECT TIMESTAMPADD(DAY, -7, CURRENT_DATE) --2021-04-17SELECT (YEAR(TIMESTAMPADD(DAY, -7, CURRENT_DATE)) * 10000 + MONTH(TIMESTAMPADD(DAY, -7, CURRENT_DATE)) * 100 + DAYO原创 2021-04-25 17:55:15 · 932 阅读 · 0 评论 -
Kylin部署问题记录
1.执行$KYLIN_HOME/bin/check-env.sh错误内容:找不到 hive-site.xml 文件根本原因:check-env的过程中执行的是以下脚本:find-hadoop-conf-dir.sh,find-hbase-dependency.sh,find-hive-dependency.sh,find-kafka-dependency.sh等,执行find-hive-dependency.sh时报出找不到 hive-site.xml 文件,搜索EMR集群文件,没有hive-site原创 2021-01-05 15:41:54 · 205 阅读 · 0 评论 -
kylin的cube planner
kylin简介 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。整体架构如下: &n...原创 2020-01-02 14:54:57 · 570 阅读 · 0 评论 -
Kylin:Cube设计与优化
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。下面是Kylin的架构图: &nbs...原创 2019-09-18 15:28:20 · 534 阅读 · 0 评论 -
Yarn关于MR的资源管理
Kylin在#4 Step Name: Build Dimension Dictionary步骤,速度极其慢,查看MR任务的日志如下:2014-07-04 17:30:37,492 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating sc...原创 2019-06-28 11:24:48 · 631 阅读 · 0 评论 -
Kylin有关HBase的协处理器
org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: Coprocessor passed deadline! Maybe server is overloaded at org.apache.kylin.storage.hbase.cube.v2...原创 2019-06-11 14:32:06 · 2508 阅读 · 0 评论 -
Kylin查询遇到的问题
2019-06-12 16:14:39,163 ERROR [pool-11-thread-65] v2.CubeHBaseEndpointRPC:426 : <sub-thread for Query 420d4628-7540-0e9c-fbe0-d41952ba719d GTScanRequest 3e4efc6d>Error when visiting cubes by end...原创 2019-06-12 18:09:57 · 2138 阅读 · 6 评论 -
Kylin优化实战(二):cube构建过程
根据cube在build的顺序,进行优化#1 Step Name: Create Intermediate Flat Hive Table第一步是根据我们自定义的cube模型来生成原始数据,直接使用hive -e执行sql语句,中间设置了大量的hive的配置项,数据格式默认为SEQUENCEFILE。#2 Step Name: Redistribute Flat Hive Table...原创 2019-06-12 15:42:46 · 1139 阅读 · 1 评论 -
Kylin优化实战(一):资源调整
Kylin优化的角度很多,一边做一边更新。Kylin介绍:http://kylin.apache.org/cn/ 中文文档,比较友好。Kylin搭建:https://blog.csdn.net/xiaozhaoshigedasb/article/details/87942242 &...原创 2019-05-28 10:46:49 · 2112 阅读 · 0 评论 -
Kylin启动报错
2019-04-19 17:03:12,071 INFO [main-SendThread(data-3.novalocal:2181)] zookeeper.ClientCnxn:1235 : Session establishment complete on server data-3.novalocal/172.16.0.19:2181, sessionid = 0x269e0e792d8...原创 2019-04-19 17:08:42 · 1458 阅读 · 0 评论 -
kylin加载hbas的协处理器(坑)
版本:CDH: 5.13Kylin: 2.5.2在project、model、cube构建完成后,开始查询,结果因为之前做了Hadoop的HA,所以需要更新HBase的协处理器。这个是执行查询的时候报的错:org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exce...原创 2019-04-15 13:59:13 · 1440 阅读 · 0 评论 -
Kylin定时构建cube,hdfs中数据定时加载至hive分区
kylin增量构建cube:#!/bin/bash ################################################################################################################### ## 脚本功能:之前脚本任务完成后,使用Kylin命令,增量更新Kylin cube ## 修改...原创 2019-04-26 17:07:17 · 1055 阅读 · 0 评论 -
Kylin启动报错:Failed to find metadata store by url: kylin_metadata@hbase
Exception in thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbase at org.apache.kylin.common.persistence.ResourceStore.createResourceSto...原创 2019-04-12 11:12:20 · 6444 阅读 · 4 评论 -
Kylin2.5.2完全分布式安装部署
Kylin介绍: 关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接: http://kylin.apache.org/cn/搭建步骤:1,安装Hadoop,Zookeeper,HBase,Hive &a原创 2019-02-26 18:56:57 · 1070 阅读 · 0 评论