使用技巧
文章平均质量分 93
Kyligence
跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,现已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户。
展开
-
企业云成本管控,你真的做对了吗?
免费下载 Kyligence Zen 云成本指标模板+样例数据原创 2022-08-02 17:46:01 · 454 阅读 · 0 评论 -
金融科技系列 |如何 0-1 快速构建数字化客户运营体系
近几年,“私域流量”一词大火,更多企业开始将目光对准已有客户的运营,希望能在自己的流量池中挖掘更多潜在商机,想要牢牢把握如何在适当的时机,把合适的商品带给正有采购需求的客户,而客户运营正是其中的关键。原创 2020-07-29 14:19:48 · 1567 阅读 · 0 评论 -
去 HBase,Kylin on Parquet 性能表现如何?
Kylin on HBase 方案经过长时间的发展已经比较成熟,但也存在着局限性,因此,Kyligence 推出了Kylin on Parquet 方案(了解详情戳此处)。通过标准数据集测试,与仍采用 Kylin on HBase方案的 Kylin 3.0 相比,Kylin on Parquet 的构建引擎性能有了很大的提升,对于复杂查询也有更好的性能表现。本篇文章主要通过使用标准 ...原创 2020-05-06 14:48:13 · 629 阅读 · 0 评论 -
Kylin on Parquet 介绍和快速上手
Apache Kylin on Apache HBase 方案经过长时间的发展已经比较成熟,但是存在着一定的局限性。Kylin 查询节点当前主要的计算是在单机节点完成的,存在单点问题。而且由于 HBase 非真正列存的问题,Cuboids 信息需要压缩编码,读取 HBase 数据的时候再反序列化、分割,额外增加了计算压力。另外,HBase 运维难度比较大,不便于上云。面对以上问题,Kyligenc...原创 2020-04-28 17:34:43 · 301 阅读 · 0 评论 -
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
在近期的Apache Kylin × Apache Hudi Meetup直播上,Apache Kylin PMC Chair 史少锋和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。下文是分享现场的回顾。我的分享主题是《基于 Hudi 和 Kylin 构建准实时、高性能数据仓库》,除了讲义介绍,还安排了 Demo 实操环节。下面是...原创 2020-04-12 16:45:41 · 1292 阅读 · 0 评论 -
Kylin 初入门 | 从下载安装到体验查询
本文旨在为 Kylin 新手用户提供一份从下载安装到体验亚秒级查询的完整流程。文章分为两个部分,分别介绍了有 Hadoop 环境(基于 Hadoop 环境的安装)和没有 Hadoop 环境(从 Docker 镜像安装)两种场景下 Kylin的安装使用,用户可以根据自己的环境选择其中的任意一种方式。用户可以按照文章里的步骤对 Kylin 进行初步的了解和体验,掌握 Kylin 的基本使用技能,然...原创 2020-04-06 13:41:18 · 620 阅读 · 0 评论 -
Apache Kylin v2.6.5 正式发布!
Apache Kylin社区于日前宣布:Apache Kylin v2.6.5 正式发布!欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进行亚秒级查询。01Release NotesApache Kylin v2.6.5 是继 v2.6.4 版本后的一...原创 2020-03-08 19:06:02 · 336 阅读 · 2 评论 -
疯狂吐槽 Kylin 的我为什么成为了 Kylin Committer
Apache Kylin 最初由 eBay 开发,于 2015 年毕业成为 Apache 顶级项目,目前已被腾讯、美团点评、滴滴等全球上千家企业采用。Kylin 社区的成长离不开社区成员在代码、案例、文档等诸多方面不断的贡献,尤其是社区中的三十多位 Committer,他们不仅是社区里的技术中坚力量,也是热心的贡献者,来自丁香园的周天鹏正是其中一员。2018 年初,刚接触 Kylin 时,天鹏疯狂...原创 2020-03-08 18:55:11 · 628 阅读 · 0 评论 -
Apache Kylin v3.0.1 正式发布!
Apache Kylin 社区于日前宣布:Apache Kylin v3.0.1 正式发布!欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模离线与实时数据进行亚秒级查询。01 Release NotesApache Kylin v3.0.1 是继 v3.0.0...原创 2020-03-08 17:53:02 · 464 阅读 · 0 评论 -
使用 DolphinScheduler 调度 Kylin 构建
Apache Kylin 上游通常有复杂的数据 ETL 过程,如 Hive 入库、数据清洗等;下游有报表刷新,邮件分发等。集成 Apache DolphinScheduler 后,Kylin 可以方便地将大数据平台各组件串联起来,让各个任务通过 DAG 统一调度。01背景Apache Kylin 是一个支持海量大数据的在线分析引擎,需要离线或流式地从 Apache Hive、...原创 2020-03-08 17:48:00 · 3266 阅读 · 1 评论 -
Kylin 与 Tomcat 近期安全漏洞,建议 Kylin 用户处理
近期新披露两个安全漏洞,一个是 Kylin 的 SQL 注入漏洞,一个是 Tomcat 的安全漏洞,因为 Kylin 使用 Tomcat 因此也受到影响。请大家参考下面的方法来尽快修复安全漏洞。Apache Kylin• CVE(Common Vulnerabilities and Exposures 通用漏洞披露)ID:CVE-2020-1937(https://cve.mitre...原创 2020-03-07 11:32:11 · 506 阅读 · 0 评论 -
一个案例告诉你如何使用 Kyligence + Spark 进行大数据机器学习
导语:今天,大数据、数据科学、机器学习分析不再只是热词,已经真实地渗透于生活方方面面。根据福布斯,到2025年,全球每年将会有 175 泽字节的数据产生。Kyligence的诞生为企业带来了极速的大数据分析体验 。当企业要对大规模的数据进一步进行更为复杂的分析如对销售额进行预测时,传统的分析工具就捉襟见肘了 。这篇文章将以基于Spark的分布式机器学习平台 Databricks为例,为您提供一...原创 2019-12-25 11:27:47 · 352 阅读 · 0 评论 -
系列课程| 原厂老师带你入门大数据OLAP神兽「Kylin」
正在调研 OLAP还在纠结是否尝试 Kylin ?刚接触 Kylin还不知道怎么使用?作为开源的分布式分析引擎,Apache Kylin™ 提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,与多种数据可视化工具(如 Tableau、Power BI 等)的整合能力,已被 eBay、腾讯、美团点评、滴滴、OLX ...原创 2019-12-02 11:30:12 · 210 阅读 · 0 评论 -
Spark PMC 亲临 Kyligence ,现场解读 Spark 生态圈最新动向
近日,Databricks 融资四个亿估值 62 亿美金的新闻引爆了整个技术圈。Spark 历经 10 年发展,已经成为当今最炙手可热的开源技术框架之一。熟悉我司的朋友都知道,我们的最新产品已经实现了 all On Spark,不管是构建引擎还是查询引擎,所有的管理全都基于 Spark 运作。全栈 Spark 架构不仅给构建和查询带来更好的性能,提升服务的时间响应的及时性,也能为企业客户减少采...原创 2019-11-07 10:57:58 · 585 阅读 · 0 评论 -
Kylin 精确去重在用户行为分析中的妙用
作者:史少锋,Apache Kylin committer & PMC,2019/10/11在上次文章《如何在 1 秒内做到大数据精准去重》中,我们介绍了 ApacheKylin 为什么要支持大数据集上的精确去重,以及基于 Bitmap 的精确去重原理等。看到今天的文章标题,你肯定要问,精确去重跟用户行为分析又能有什么关系呢?原来啊,Kylin 采用 Bitmap 完整记录了每...原创 2019-10-18 21:12:42 · 982 阅读 · 2 评论 -
Apache Kylin v2.6.4 正式发布!
Apache Kylin社区于日前宣布:Apache Kylin v2.6.4 正式发布!欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进行亚秒级查询。01 Release NotesApache Kylin v2.6.4 是继 v2.6.3 版本后的一...原创 2019-10-13 15:22:21 · 208 阅读 · 0 评论 -
如何在 1 秒内做到大数据精准去重?
去重计数在企业日常分析中应用广泛,如用户留存、销售统计、广告营销等。海量数据下的去重计数十分消耗资源,动辄几分钟,甚至几小时,Apache Kylin 如何做到秒级的低延迟精确去重呢?什么是去重计数去重计数是数据分析中的常用分析函数,指查询某列中不同值的个数,在 SQL 中的函数是 count(distinct col)。它与 count(col) 函数的区别在于有一个 distin...原创 2019-09-27 17:58:18 · 1414 阅读 · 0 评论 -
又想 Cube 小,又想 Cube 跑得好?
“随着维度数目的增加,Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mandatory Dimension)等。”正如...原创 2019-09-12 23:04:13 · 664 阅读 · 1 评论 -
如何在 Kylin 中优雅地使用 Spark
前言Kylin 用户在使用 Spark的过程中,经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务,有些用户会使用 Livy 作为 Spark 的交互接口。在最新的 Apache Kylin 3.0 版本中,Kylin 加入了通过 Apache Livy 递交 Spark 任务的新功能[KYLIN-3795],特此感谢滴滴靳国卫同学对此功能的贡献。...原创 2019-09-01 11:24:22 · 1148 阅读 · 0 评论 -
如何简化 SQL 语句之 UDF 实践
UDF(User Defined Function 用户自定义函数)是 SQL 环境中很关键的特性。通过写 UDF,开发者可以方便地插入常用的处理代码并在查询中使用。Apache Kylin 支持持久化的 UDF。来自华安保险的赵兴成特别带来了 Kylin 中 UDF 的分享,快跟着兴成一探究竟吧~背景Apache Kylin 作为 OLAP 神器,在海量数据的多维分析方面优势明显,...原创 2019-08-31 22:57:06 · 653 阅读 · 1 评论 -
两招加速时间智能分析之 Tableau 篇
MTD(Month To Date),QTD(Quarter To Date)和YTD(Year To Date)是业务分析常用的日期累计方式。 当数据量剧增,BI端的实时查询会耗费大量计算资源,不能及时返回结果,影响业务指标分析。借助Kyligence的强大OLAP引擎,大数据平台的分析效率可大大提高;在此基础上,分析师在使用Tableau时有两种方式可以实现提速:1)查询时通过窗口函数对Kyl...原创 2019-04-10 13:11:06 · 1991 阅读 · 0 评论 -
走起!Apache Kylin Meetup 首次空降成都
5 月 25 日,由 Kyligence 主办的Apache Kylin Meetup 即将在成都登陆!在北京站召开之际,小编就在后台收到了很多成都 “Kyliner” 的活动请求,为了响应大家的深情呼唤,我们特地寻找了四位来自满帮集团、长虹以及 Kyligence 的资深讲师,带着在大数据界的丰富经验,为大家带来精彩的案例展示及 Kylin 新功能介绍 。活动信息活动时间...原创 2019-05-08 20:04:42 · 182 阅读 · 0 评论 -
想做大数据实时分析?且看 Kylin 如何解决
4 月 13 日,Apache Kylin Meetup 北京站顺利落幕,吸引了众多对大数据分析技术感兴趣的伙伴们到场参与,现场座无虚席。Kyligence 大数据研发工程师俞霄翔在现场与大家分享了 Kylin Real-time OLAP 功能的设计和实现,利用该功能实现的新浪微博实时热点分析 Demo 掀起了现场的小高潮。△ 俞霄翔讲解 Kylin Real-time OLAP...原创 2019-11-04 11:13:02 · 1000 阅读 · 0 评论 -
Apache Kylin 在小米大数据中的应用
在近期的 Apache Kylin Meetup 北京站上,我们邀请到小米大数据平台 OLAP 负责人陈学辉分享了 Kylin 在小米大数据中的应用。△陈学辉小米拥有众多产品线,业务遍及全球 80 多个国家和地区,数据规模大,对查询响应时间要求高。本次分享主要介绍了 Kylin 在小米内部的使用情况,包括适用的业务场景,遇到的挑战,源自业务实践中的功能优化点。小米业务场...原创 2019-05-19 15:18:13 · 1158 阅读 · 1 评论 -
解读 Kylin 3.0.0 | 更敏捷、更高效的 OLAP 引擎
在近期的 Apache Kylin Meetup 成都站上,我们邀请到 Kyligence 架构师 & Apache Kylin Committer 倪春恩对 Kylin3.0.0 版本的一些重要功能及改进从使用到原理进行了介绍:Apache Kylin 在今年 4 月 18 日发布了 3.0.0 Alpha 版本,我今天的分享也围绕Release notes内提到的三个功能,即...原创 2019-06-16 11:43:21 · 1632 阅读 · 0 评论 -
有了 Kylin+Saiku,妈妈再也不用担心我的多维 OLAP 平台
随着数据量的激增,传统的 OLTP 平台已无法满足用户的分析需求。OLAP 平台应运而生,OLAP 平台通常由 OLAP Engine 与用户操作分析页面组成。本文将会以 Saiku + Kylin 的组合方式讲解多维 OLAP 平台的搭建。简介SaikuSaiku 是一个用于 OLAP 分析的套件。用户可在浏览器中通过拖拽的方式进行分析,降低了使用者的学习成本。它能够连接多种数...原创 2019-06-21 16:33:37 · 908 阅读 · 0 评论 -
亿级数据下灵活快速查询,充电桩市场霸主如何做?
全国规模最大的新能源汽车充电设施运营商特来电目前项目遍及 282 个城市,面对爆发的业务需求,其基于传统关系型数据库搭建的报表系统性能下降明显。如何高效稳定地基于大数据平台的数据进行多维查询成为大难题,经过多方技术选型与验证,特来电为什么选择了 Kylin?今天为大家带来“征文赢首届 Kylin Data Summit 门票”活动的第二篇投稿文章,为大家揭秘特来电大数据平台的技术选型之旅。...原创 2019-07-05 14:10:04 · 518 阅读 · 0 评论 -
可能是全网最深度的 Apache Kylin 查询剖析
自 6 月 6 日开始“征文赢首届 Kylin Data Summit 门票”活动以来,投稿的小伙伴络绎不绝,大家对Kylin 的热爱与分享精神让我们燃到不行~绝对重磅的第一篇投稿文章终于来啦!相信关注本号已久的粉丝对如何在 Kylin 里使用 SQL 进行查询已经再熟悉不过,但你知道在这亚秒级响应的背后,Kylin是如何把对原始表的查询转换为对 Cube 的查询吗?来自蚂蚁金服的朱...原创 2019-07-05 15:04:12 · 3735 阅读 · 3 评论 -
用 Apache Kylin 做精准留存分析,对刷量 say『 No』!
互联网人口红利逐渐消失,越来越多的运营、市场、产品同学聚焦用户留存/转化。经常有小伙伴在 Kylin 用户群里问「Kylin 可以做留存分析吗」「Kylin 可不可以做用户增长漏斗分析呀」答案当然是「Yes!」今天为大家带来“征文赢首届 Kylin Data Summit 门票”活动的第 3 篇投稿文章,来自某互联网金融公司的杨卫将为大家分享如何使用 Kylin 进行渠道精准留存分析。...原创 2019-07-11 14:02:33 · 547 阅读 · 0 评论 -
Kylin 在满帮集团千亿级用户访问行为分析中的应用
2019 年 7 月 12 日,国内首届以 Apache Kylin 为主题的大数据领域的前沿盛会 Kylin Data Summit 在上海落幕。在本次大会的制造业分论坛上,来自满帮集团的陈雅婕的分享「Kylin 在满帮集团千亿级用户访问行为分析中的应用」收获阵阵掌声,备受好评。海量数据下的用户访问行为分析一直是一大难题,满帮集团作为全国最大的车货匹配信息平台,每天会产生近十亿的流...原创 2019-11-04 11:09:54 · 442 阅读 · 0 评论 -
问题排查 | Kylin 2.0-HBase 0.98 重启
背景:目前当 HBase 添加、删除节点,重启、移动 rgroup,或者 HBase table 移动 region server 等操作后,均需要 Kylin 的所有节点重启,理论上这些操作可以对上层应用透明,或者只有短暂的不可用后自行恢复。但是,目前咱们有 8 套 Kylin 集群均需要在 HBase 变动后进行 Kylin 重启,才可以继续提供相应的服务,对上层服务影响较大,HBase 的变...原创 2019-08-04 20:00:42 · 242 阅读 · 0 评论 -
滴滴:Apache Kylin 自助式治理与演进之路
作为开源社区,Apache Kylin 社区的成长离不开用户在代码、案例、文档等方面不断的贡献。在 2019年,Apache Kylin 变得更为稳定,功能也更为丰富,以历史数据分析见长的 Kylin 开始涉足实时数据分析领域,社区力量也在不断壮大。在 7 月 12 日的 Kylin Data Summit 上,来自滴滴出行的技术专家靳国卫获得“2019 最佳 Apache Kylin 社区贡...原创 2019-07-27 11:27:57 · 269 阅读 · 0 评论 -
基于 Apache Kylin 的微博舆情实时分析(内含 Demo)
通过 Real-time OLAP,Kylin v3.0 能够对接 Kafka 数据源,并且实现秒级的数据查询延迟。从 v3.0.0-alpha 发布到现在,世界范围内已有一些社区用户试用该特性并且提出意见,并且开发者在不断修复问题和提升易用性。Kyligence大数据工程师俞霄翔将通过一个 Demo,来演示如何实际使用 Real-time OLAP,并且会在配置过程中讲解重要的技术点, 帮助大家...原创 2019-08-19 13:54:12 · 1004 阅读 · 0 评论 -
Tableau Generic JDBC 连接 Kylin
在 7 月 12 日的 Kylin Data Summit 上,来自丁香园的周天鹏获得“2019 最佳 Apache Kylin 社区贡献个人奖”,热心的天鹏同学修复了很多 Kylin 与 Tableau 集成的问题。社区小伙伴经常会问起『Tableau Generic JDBC可以连Kylin 吗』,终于,天鹏带来了下文为大家揭晓答案。周天鹏(左三)喜大普奔~ 喜大普奔~ ...原创 2019-08-11 17:03:03 · 663 阅读 · 0 评论 -
Python + Apache Kylin 让数据分析更加简单!
现如今,大数据、数据科学和机器学习不仅是技术圈的热门话题,也是当今社会的重要组成。数据就在每个人身边,同时每天正以惊人的速度快速增长,据福布斯报道:到 2025 年,每年将产生大约 175 个 Zettabytes 的数据量。目前我们所熟知的行业都越来越依赖于对大数据的高级处理和分析,如金融、医疗保健、农业、能源、媒体、教育等所有重要的社会发展行业,然而这些庞大的数据集让数据分析、数据挖掘、机...原创 2019-08-31 21:54:39 · 764 阅读 · 1 评论 -
你的 TopN 数据查询够快吗?
TopN查询,即从数据中实时查找前N项。当分析师需要排序的维度基数较大时,如从几十万名员工或者几百万个产品中查询TopN时,往往会遇到响应速度缓慢,性能不稳定等问题。这给技术团队带来很大压力。Kyligence Enterprise强大的功能之一就是可在秒级完成TopN数据的返回。本篇将重点介绍这个功能的使用技巧。初识TopN功能在编辑度量的表达式下拉框中,有这样一个选项“TOP_N...原创 2019-03-22 14:12:15 · 1090 阅读 · 3 评论