![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kylin
skyyws
Apache Impala Committer,目前从事OLAP方向。
展开
-
问题排查--Kylin开启G1垃圾回收算法导致进程无法启动
Kylin的JVM参数可以通过修改$conf/setenv.sh中的KYLIN_JVM_SETTINGS参数来进行配置,默认使用的GC算法是ParNew+CMS,我们可以通过jcmd pid VM.flags来查看进程的JVM参数,如下所示: 最近由于查询和任务变多,Kylin节点在高峰期会出现由于GC导致服务停顿时间比较久的情况,因此准备将GC算法调整为G1,我们直接修改KYLIN_JVM_SETTINGS,如下所示: export KYLIN_JVM_SETTINGS="-Xms128G -Xmx12原创 2020-11-11 11:04:18 · 395 阅读 · 0 评论 -
Kylin页面删除Segment
Kylin在新版本中提供了页面上删除Segment的功能,这里就简单介绍一下该功能。原创 2020-08-28 19:26:02 · 1092 阅读 · 0 评论 -
记一次Apache Kylin的慢查询排查及优化
目前业务在使用Kylin的时候反馈查询很慢,直接超时了(超时时间设置的为5min),在日志中获取了相应的SQL以及Cube之后发现: SQL扫描了不到2个月的数据,500多G大小,26亿的记录数; SQL中涉及到了4个count distinct计算(bitmap); 当前集群环境如下: Kylin服务器2台,部署了2个节点,都是all; HBase集群服务器4台,每台部署了2个regionserver; Kylin版本为2.6.6; 该cube设置的合并时间为7天/28天,Storage情况如下所原创 2020-08-21 13:45:33 · 805 阅读 · 0 评论 -
Kylin独立HBase集群部署常见问题汇总
Kylin在部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望能帮助到大家。 Hadoop版本:2.7.3 Hive版本:2.1.1 HBase版本:1.2.6 Kylin版本:2.4.0和2.6.1均有...原创 2019-03-10 15:51:17 · 3352 阅读 · 5 评论 -
kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception
目前,在使用社区版的kylin-2.3.1版本时,streaming cube在第一步就报错了,通过查看MR的错误日志,发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示: 通过错误日志分析,应该是缺少lz4相关包导致的,我们登陆kylin的部署服务器,查看kafka部署的客户端路径下,发现有lz4相关的包: 因此,猜测是相关的包,在执行MR任务的时候,没有提交到yarn上。...原创 2019-05-15 16:32:59 · 2482 阅读 · 0 评论 -
Kylin认证方式介绍(一)
目前,apache kylin提供了多种登录认证的方式,包括预先定义的用户名和密码登录,ldap以及sso单点登录,本文主要介绍前面两种方式,sso的登录认证后面有机会再做介绍。原创 2019-07-14 15:51:13 · 2092 阅读 · 0 评论