kylin
大数据玩家
致力于大数据源码研究、底层原理研究!
展开
-
一文读懂KYLIN3.0-OLAP原理与使用,以及现在存在的BUG
目录 一、为什么在Kylin中建立实时流 二、流多维数据集引擎如何工作 1)流数据写入 2)流数据查询 三、流多维数据集详细概念和作用 1、Assigment 2、副本集 3、流接收器 4、流协调器 5、Segment段 四、重新分配Assigment 1)重新分配步骤: 2)重新分配图 五、现有的BUG 一、为什么在Kylin中建立实时流 提供毫秒级的数据准...原创 2020-01-13 16:21:40 · 996 阅读 · 0 评论 -
如何在 1 秒内做到大数据精准去重?
去重计数在企业日常分析中应用广泛,如用户留存、销售统计、广告营销等。海量数据下的去重计数十分消耗资源,动辄几分钟,甚至几小时,Apache Kylin 如何做到秒级的低延迟精确去重呢?转载 2019-10-18 11:47:36 · 807 阅读 · 0 评论 -
Kylin 精确去重在用户行为分析中的妙用
示例 先从一个简单的例子说起吧。现在有一个 app 的用户访问记录表 access_log,它包含三个字段:DT (访问日期),User ID(用户标示)和 Page(访问页): DT User ID Page 20190101 100 index.html ...转载 2019-10-18 11:44:56 · 854 阅读 · 0 评论 -
KYLIN使用spark构建引擎(HDP2.6.5.0环境)
一、搭建环境 kylin版本: 2.6.4 hdp版本:2.6.5.0 spark版本:2.3.2 二、配置 1)配置HADOOP_CONF_DIR export HADOOP_CONF_DIR=/usr/hdp/2.6.5.0-292/hadoop/conf 2)配置SPARK_HOME # spark export SPARK_HOME=/usr/hdp/2.6.5.0...原创 2019-10-14 17:47:28 · 1082 阅读 · 0 评论 -
清理Kylin的中间存储数据(HDFS & HBase Tables)
Kylin在创建cube过程中会在HDFS上生成中间数据。另外,当我们对cube执行purge/drop/merge时,一些HBase的表可能会保留在HBase中,而这些表不再被查询,尽管Kylin会做一些自动的垃圾回收,但是它可能不会覆盖所有方面,所以需要我们能够每隔一段时间做一些离线存储的清理工作。具体步骤如下: 1.检查哪些资源需要被清理,这个操作不会删除任何内...原创 2019-04-10 11:56:54 · 337 阅读 · 0 评论 -
KYLIN构建多用户管理
构建原理 kylin-web采用Spring security framework做用户认证的,需要手写spring代码根据自定义密码去加密,生成加密后的密码,保存到apache-kylin-2.5.2-bin-hbase1x/tomcat/webapps/kylin/WEB-INF/classes/kylinSecurity.xml 中,分为3个角色组,包括超级管理员...原创 2019-04-09 15:38:08 · 848 阅读 · 0 评论 -
基于Ambari HDP3.1.0.0群下安装KYLIN-2.6.4集群
基于ambari-2.7.3.0 、 HDP-3.1.0.0 、HDP-UTILS-1.1.0.22 、HDP-GPL-3.1.0.0集群下手动安装KYLIN集群(hbase为2.0.2)。 1.下载并解压 yum -y install axel axel -n 10 https://archive.apache.org/dist/kylin/apache-kylin-2....原创 2019-04-29 15:29:09 · 3337 阅读 · 14 评论 -
kylin利用ab压力测试
自定义post.txt文件 { "sql":"SELECT count(1) FROM tablename WHERE 1 = 1 and id IN ( 'aabbcc' ) and type IN ( 'weixin' )", "offset":0, "limit":50000, "acceptPartial":false, "project":"proje...原创 2019-06-28 15:22:03 · 325 阅读 · 0 评论 -
KYLIN元数据迁移(测试环境配置迁移至生产环境)
一般项目开发都会有测试环境和生产环境,在上线之际,如果要将测试环境的cube信息导入生产环境,该怎么办呢?通过curl请求?太low了吧,其实,官网提供了元数据迁移方案,让我们一起看看吧!原创 2019-10-09 11:54:52 · 751 阅读 · 0 评论