Kylin
文章平均质量分 57
fragrans
大数据、产品、运营
展开
-
商业版Kyligence功能总结
目录1. 三大核心功能2. 参考资料1. 三大核心功能Kyligence拥有3大核心功能:1.1 统一数据视图与多样接口 1.2 数据入口丰富即支持多种数据源1.3 AI增强引擎协助数据分析利用机器学习从SQL历史、查询模式和分析师行为中智能识别和推荐数据加速模型2. 参考资料https://mp.weixin.qq.com/s/7Hf7cwFrOvgRVydyTTuMtg...原创 2021-01-31 18:30:09 · 273 阅读 · 0 评论 -
用 Docker 运行 Kylin
//下载kylin依赖的景象docker pull apachekylin/apache-kylin-standalone:3.1.0有时为了方便的去测试kylin的功能,我们可以直接通过docker的方式来启动一个kylin示例,直接执行上面的景象下载命令即可。下载之后的后续操作,请参考以下资料:http://kylin.apache.org/cn/docs/install/kylin_docker.html在下载竟像时要指定景象的版本3.1.0,因位docker hub上latest版本.原创 2021-01-23 13:16:19 · 919 阅读 · 1 评论 -
OLAP引擎Kylin和Clickhouse的对比
1. 概述本文内容根据这篇文章学习总结而的。主要介绍二者各方面的对比,以及目前两款olap引擎在国内公司的使用情况。kylin和clickhouse都是目前市场流行的大数据OLAP引擎。2. 技术原理对比2.1 kylin技术原理kylin使用Java开发,与hadoop生态高度融合。kylin集群依赖zookeeper协调,只支持select查询语句。存储和计算引擎存储引擎:hbase(V4.0后可选)、parquet(结合spark)。计算引擎:mapreduce、s.原创 2020-11-25 19:48:21 · 3290 阅读 · 1 评论 -
apache kylin新增用户
1. 为kylin新添加用户,设置密码1.1 加密新增用户的密码在java代码中添加依赖<dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-core</artifactId> <version>4.0.0.RELEASE</version></depend原创 2020-11-12 13:44:31 · 677 阅读 · 1 评论 -
Kylin中的查询下压
目录1. 查询下压要解决什么问题2. 参考链接1. 查询下压要解决什么问题Kylin 支持查询下压,对于没有cube能查得结果的sql,Kylin支持将这类查询通过JDBC下压至备用查询引擎如Hive, SparkSQL, Impala等来查得结果。2. 参考链接http://kylin.apache.org/cn/docs/tutorial/query_pushdown.htmlhttp://kylin.apache.org/docs/tutorial/que...原创 2020-11-09 16:36:03 · 460 阅读 · 0 评论 -
Kylin中的混合模型(hybrid model)
1. hybrid model要解决哪些问题1.1 kylin的优缺点和混合模型要解决的问题kylin中的混合模型解决跨cube查数据的问题。其原理图如下:混合模型原理图转存失败重新上传取消混合模型是一个新的实现,它是一个或多个其他实现(立方体)的组合; 见下图。混合模型没有其真正的存储空间; 它就像在表格上的虚拟数据库视图一样; 混合实例充当委托者,将请求转发给其子实现,然后在从实例返回时合并结果。混合模型的目的是连接(union)历史Cube和新Cube,类似...原创 2020-11-09 16:07:08 · 1239 阅读 · 0 评论 -
Kylin中Dashboard的使用
1. 开启kylin的Dashboard自V2.3.0起可以使用Dashboard,其作用是:作为 project 拥有者,想了解您 Cube 使用指标? 想要知道针对您 Cube 的每一天的查询? 什么是 AVG 查询延迟?您是否想知道每 GB 源数据的 AVG Cube build 时间,这对预测即将到来的 Cube build job 的时间成本非常有帮助? 您可以从 Kylin Dashboard 找到所有信息。Kylin Dashboard 展示有用的 Cube 使用数据,对用户非常重要原创 2020-11-09 15:16:42 · 183 阅读 · 1 评论 -
Kylin中的基本概念解释
1. 在kylin中常用的基本概念kylin的工作原理:实质是MOLAP(Multidimensional Online Analytical Processing) Cube,即多维立方体分析。其核心思想是预结算,即对多维分析中用到的度量进行预计算,计算好的结果保存成cube并存储到hbase,查询时直接使用预计算的结果。维度:观察数据的角度,一般是一组(即表中的多个列为一组)离散的值 维度的基数(Cardinality),指一个维度(列)中不同值的个数,例如性别列(sex)的不同值有男、女原创 2020-11-09 14:35:05 · 403 阅读 · 0 评论 -
Kylin中的cube构建引擎使用spark
1. 将默认的Mapreduce引擎改为spark启动kylin后,会在 Kylin Web 页面上加载出两个默认的 Cube ,然后我们访问Kylin Web UI ,然后点击 Model -> Action -> Edit 按钮接下来直接点击 Advanced Setting,进行高级配置接下来选择 spark引擎即可,可以看到目前kylin支持的cube引擎有MapReduce、Spark和Flink三种2. 参考链接https://blog.csd..原创 2020-11-09 10:21:04 · 278 阅读 · 0 评论 -
Kylin配置参数总结
1. 通用配置文件自动读取Hadoop 配置(core-site.xml),Hive 配置(hive-site.xml)和 HBase 配置(hbase-site.xml)。kylin 项目的配置文件在$KYLIN_HOME/conf/目录下。hive相关配置:kylin_hive_conf.xmljob相关配置:kylin_job_conf.xmlkylin自身日志相关:kylin-server-log4j.properties和kylin-tools-log4j.properties..原创 2020-11-04 14:55:55 · 785 阅读 · 0 评论 -
Kylin集群安装教程
目录1. 准备工作1.1 创建kylin用户1.2 创建kylin二级制文件存放目录1.3 上传kylin文件到服务器2. 开始安装kylin2.1为ukylin用户设置KYLIN_HOME的环境变量2.2 检查环境2.2.1 执行check-env.sh,检查结果如下:2.2.2 接下来我们设置一下这些可选的环境变量3. 启动kylin4. 创建Sample Cube5. 在kylin UI查看刚才创建的 learn_kylin project6..原创 2020-10-29 19:01:01 · 1063 阅读 · 0 评论 -
关于国产项目Apache Kylin 发展历程及背后的那些事
原文地址:https://blog.csdn.net/looper66/article/details/53842340转载 2020-10-29 11:16:25 · 108 阅读 · 0 评论