Kyligence

对 OLAP 场景的查询而言，单个查询往往需要在存储端扫描大量数据，再在内存中进行一些统计分析后，才能输出所需要的统计结果。因此，如果不能像以 Kylin 为代表的 MOLAP 引擎采用预计算的方式来避免数据的实时扫描，对于基于磁盘存储的数仓而言，存储端无疑会因为扫描大量数据造成磁盘吞吐的瓶颈。既然如此，是否存在别的选择，可以少从存储端加载数据呢？列存数据库正是通过采取合适的数据组织结构，来减小查询加载的数据量，最终提高查询效率。大数据圈的各位对列式存储一定不陌生，快速浮现你脑海里...

更快更稳：Apache Kylin 4.0.0-beta 正式发布！Apache Kylin 社区于日前宣布：Apache Kylin 4.0.0-beta 正式发布！欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析 (OLAP) 能力，支持对超大规模数据进行亚秒级查询，已被 eBay、腾讯、美团、滴滴、汽车之家、贝壳找房、OLX 集团等全球上千家企业采用。1. Release NotesAp.

Gartner 近期发布了一份“分析查询加速的市场引导报告（Market Guide for Analytics Query Accelerators）”，报告中提到一个新的数据分析细分市场正在兴起，即数仓和数据湖这个模糊地带。小编特别邀请了本司产品总监，何京珂带大家一同解读这篇专业报告，希望能给选型数仓以及数据湖的企业一些参考。数据湖已成为行业数据架构的主流什么是数据湖？数据湖是一个集中式存储库，允许企业以任意规模存储所有结构化和非结构化数据。企业可以按原样存储数据（无需先对数据..

1月14日，Kyligence 产品经理陈思捷开启了我们在 2021 年的首场线上分享，为大家介绍了用户行为分析的应用场景、以及通过一些行业案例展示如何使用 Kyligence 进行用户行为分析，最后用 Demo 演示了具体的行为分析过程，还有大家在会上的 Q&A 解答，感兴趣的小伙伴别错过啦。用户行为分析是什么？用户行为是指用户为使用产品或获取服务而进行的一系列行动。以网站或者手机应用为例，用户点击按钮、跳出网页、注册等都属于用户行为，而用户行为分析是指对用户行为数据进行分析。为什.

近几年，数据分析相关岗位需求呈爆发式增长，且大多还是高薪职业，让许多小伙伴纷纷半路“出家”开启数据分析师的求学之路。很多年前，数据分析人员只要能灵活使用 Excel 就能找到一份不错的工作。后来，分析师如果能熟练操作 BI 可视化，能给老板一份漂亮的报表就可以成为公司里的明星员工。但在近几年，对于数据分析师来说除了要掌握基础的分析工具如 SQL、Python等，还得学习数据清洗、建模，还有一系列统计学概念和精确算法用于数据分析，可谓难上加难…基于上述环境，市场上就催生出了一批「数据分析专家」，他们拥

为什么预计算技术代表大数据行业的未来，一文读懂作者简介：李扬，Kyligence 联合创始人兼 CTOApache Kylin 联合创建者及项目管理委员会成员 (PMC)，曾任 eBay 全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights 技术负责人和摩根士丹利副总裁，IBM“杰出技术贡献奖”获奖者，具有大数据分析领域 10 多年实战经验。专注于大数据分析、并行计算、数据索引、关系数学、近似算法和压缩算法等前沿技术。在过去 15 年的工作经历中，见证并直接.

今天，小编与大家分享一篇来自美国知名科技企业风投机构 A16Z 的文章。这篇文章基于对美国市场中领先的技术公司 Databricks，Imply (Druid商业公司)，Looker，Snowflake 等从业人士的调查，介绍了美国企业在数据平台发展的整体趋势。中美企业在数据基建上的发展有很多相似之处，相信这篇文章对于中国的企业的数据基建也具有借鉴意义。今后我们也将不定期与大家分享海内外的行业洞察。美国数据基建市场蓬勃增长数据基建市场仍在蓬勃增长，根据Gartner报道，2019年数据基.

摘要1800+ 家客户，40+ 个国家，每年 80+ 亿笔交易记录，这是美国某大型 SAAS 公司云上数据分析架构探索与实践！在 Kyligence Cloud 2020 大会上，Kyligence 首席架构师史少锋分享了某美国大型SAAS 公司在服务遍布全球 40+ 个国家的 1800+ 家客户的背后，所面临的海量数据分析挑战与日俱增。建设新的数据平台迫在眉睫，该公司新的平台如何做到高性能、高并发的同时降低总体拥有成本？详情请见下文。客户简介该 SAAS 公司位于硅谷，以 AI 技术

9月16 日，由张江卡园、中国银联联合主办，Kyligence 承办的“数据赋能，金融科技 2.0”主题论坛在中国银联成功召开。来自平安银行数据经营分析和机器人领域的负责人陆文佳以“数据以简为美”为主题， 介绍了平安银行建设“潘多拉指标平台”的过程和方法以及对业务产生的实际价值 。引言2020年9月10日，国际权威媒体《欧洲货币》在其官网揭晓了“2020年度卓越大奖”评选结果，平安银行荣获“全球最佳数字银行”大奖。今年，平安银行是唯一上榜“2020年度卓越大奖”的中资金融机构，更是首家荣获“全.

据 IDC 预测，全球数据量将从 2018 年的 33 ZB 增长到 2025 年的 175 ZB。凭借弹性扩容、按需付费等优点，企业数据上云已经成为潮流，随着云上基础设施的快速发展和迁移上云方案更加简单可靠，All in Cloud 时代已经到来。到2021年，预计全球 49% 的数据将被存储在公有云上。在大数据分析领域，过去的十年中，Hadoop 凭借高扩展、低成本以及成熟的生态圈，一直占据主导地位，而如今，在云计算的巨浪下，Hadoop 的风光不再。以上是从 Goog...

近期在 Kyligence 举办的线上直播分享中，我们邀请到了企业客户极光的李孚煜老师为大家带来 Kylin 在极光的应用以及后期从开源版 Kylin 迁移到商业版 Kyligence 的实践历程，错过现场Live 的同学可以从本文了解极光在大数据场景下的 OLAP 选型考量，以及从开源 Kylin 到企业版 Kyligence 的不停机平滑升级方案。极光作为国内领先的开发者服务提供商主要提供两部分服务，首先是一些 SaaS 产品，主要是用于市场调查、金融风控、商业地理服务；另外就是广告业务，利用数据

云原生的巨浪正在席卷全球的软件产业，包括开源和商业软件。Apache Kylin 正在为此而积极准备着：基于新的计算和存储引擎，即将发布的 Kylin 4.0 将实现真正的计算和存储分离，减小运维难度，降低资源成本。越来越多的企业也正在从本地部署的数仓方案转向基于云的解决方案。由于无可取代的弹性扩展性、容灾性、低 TCO、业务敏捷性和几乎无限量的存储空间，基于云平台的数据仓库技术正在逐渐说服更多人：拥抱云原生才是数据仓库技术以及相关数据分析技术的未来。面对从本地到上云的变革，企业需要考虑的是上云

近日，全球权威的咨询公司 Gartner 发布《Hype Cycle for ICT in China, 2020》报告（2020 年中国 ICT 技术成熟度曲线报告），Kyligence 作为国内大数据领域的领先厂商，凭借 AI 增强型大数据管理和分析平台产品，入选增强数据分析代表厂商 (Augmented Data and Analytics Sample Vendor)。企业数字化转型离不开新技术的发展。技术成熟度曲线是 Gartner 为企业提供的评估新技术成熟度的典型工具，按照技术成熟度，分为

前言从 2018 年起，整个汽车行业处于相对低迷的状态，无论是政策导向或是外资引入的放宽，这些都在无形中加速国内车企的转型步伐。除此之外，互联网新势力不断加码入场、消费者依赖并追求更高效的智慧互联，这些都让传统车企感到“力不从心”。如何在接下来的竞赛中一马当先，或是反超为王？车企又该如何利用好大数据这把利剑帮助企业实现数字化转型？在上月 Kyligence 举办的云系列活动中，我司高级解决方案架构师 张佑铖结合在车企行业的多年实践经验为大家带来了如何从 0-1 搭建云上数据湖的方案解读。..

前言2015年至今，新式茶饮时代的到来诞生了一大批“网红”茶饮店，随后各大品牌迅速在城市街头如雨后春笋般张罗开店，市场逐渐趋于饱和，产品同质化现象显露，近年来关于食品安全问题也频频爆出引发社会热议。对于零售企业而言，精细化的营销以及产品质量的追踪把控已然成为企业关注的重点，由此 IT 部门也将面临更大更细粒度的数据挑战。近期在 Kyligence 云系列活动中，我们邀请到云产品客户代表——合阔的数据工程师杜森与大家分享大型零售店的数据中台搭建历程。本文就将从 “一杯茶的背后故事” 来展示业务中台如何

Apache Kylin™ 是一个开源的、分布式的分析型数据仓库，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，它能在亚秒内查询巨大的表。Kylin 的核心思想是”预计算“，将数据按照指定的维度和指标，预先计算出所有可能的查询结果，利用空间换时间来加速模式固定的 OLAP 查询。Kylin 的理论基础是 Cube 理论，每一种维度组合称之为 Cuboid，所有 Cuboid 的集合称之为 Cube。如下图，整个立方体称为 1 个 Cube，立方

近几年，“私域流量”一词大火，更多企业开始将目光对准已有客户的运营，希望能在自己的流量池中挖掘更多潜在商机，想要牢牢把握如何在适当的时机，把合适的商品带给正有采购需求的客户，而客户运营正是其中的关键。

我们首先从一张图开始:上图是从 Google Trend 上获取的近五年的关于 Data Warehouse（蓝色）、Data Lake（红色）、Redshift（黄色，AWS 的著名云原生数据仓库）和 Hadoop （绿色）这四个关键字的热度趋势。可以观察到，最近的五年内，Hadoop 关键字的热度迅猛下降，Data Warehouse 的热度保持稳定，而 Data Lake 和 Redshift 的热度都有显著提升。另外值得一提的是，早在 2016 年初前后，Redshift 的热度..

Apache Kylin v3.1.0 已于上周正式发布，其中包含了许多值得一试的新功能，本文选择了 Presto 查询下压引擎、Flink 构建引擎、Kylin on Kubernetes 解决方案、新版 Hive 全局字典、增强的 Cube 迁移服务这五项重点功能进行介绍。Presto查询下压引擎之前版本的 Kylin 提供了查询下压功能，该功能对于 Hive 数据源的下压有比较好的支持，但是对 Hive 以外的具有不兼容语法的数据源，用户就容易遇到因为种种方言不兼容而导致查询下压失败的问题.

Apache Kylin Meetup 直播终于又来啦～2020进入下半年，大家期待已久的 Apache Kylin Meetup 直播再次安排上啦！本次Meetup将于7 月 18 日（下周六）晚进行，邀请到来自eBay和爱奇艺的技术专家，为大家呈现 Kylin 的深度实践，还有从零在 Kubernetes 上搭建 Kylin 及其生态组件，不容错过～感兴趣的小伙伴可以直接拉到文末，扫描二维码报名！活动议程时间 议程 20:00-20:05 ...

从 2019 年开始，为了获得线上业务的增长，各大行开始与互联网巨头拓客引流的合作，进入流量争夺大战时期。如 2019 年底某国有大行携手《舒克贝塔》IP，精心打造的鼠年黄金压岁钱，结合 IP 情怀号召力、节日刺激和微信平台的上亿流量，该广告在朋友圈上线后立刻成为爆款，视频播放次数达到近 3000 万次，平均单个用户播放超过 3 次，实现了顶级 IP 到顶级流量的转化。然而，单次大流量转化后真正留存下来的客户有多少，不得而知。依据以往的统计，单次转化的流量中 60-70% 都会是沉默客户，需要.

数据是当今每一个商业决策的基石。 越来越多企业开始利用数据湖和云计算等技术进行数字化转型，然而当今前所未有的数据体量和分布使得企业的数据管理充满挑战。 挑战在于企业最有价值的数据资产被隔离在本地计算机、数据中心以及云服务中；这些数据缺乏统一的数据及指标定义，这使得企业很难有效的挖掘其数据资产的价值，企业如果以这样的数据管理方式进行数据驱动转型，企业将收获的只是一座座“数据孤岛”。在更细的粒度，每个做过数据仓库建设的行家都理解数仓内的数据对于业务的用户是多么的难以理解，技术元数据如表名、列名、数据类型

当提到“实时分析”，大家脑海里首先浮现的是大屏上不断跳跃闪烁的数字和波动的曲线，让人有种纵观全局的掌控感。类似这样的场景多出现在资源监控或是领导驾驶舱大屏展示中，这些都属于“实时分析”中比较简单的应用场景，用于及时了解数据变化。对于企业来说，不仅要及时观察核心指标的变化，更重要的是了解其变化背后原因。通过对数据展开探索式的分析，获得对业务较为全面的洞察理解，从而为后续的运营决策、营销决策、风控决策等等提供信息支撑。在电商节的促销活动中，电商平台和商家们都密切关注着活动期间实时的交易数据流量。通.

「千亿级数据量级下，如何秒级返回查询结果？」2017 年，汽车之家遭遇大数据分析难题，经过一番选型调研，选择了 Apache Kylin 作为核心 OLAP 引擎，应用于战略级商业数据产品——智能营销数据平台「车智云」。从 Kylin v1.5 到 Kylin v2.6，Kylin 在汽车之家的应用历经多个版本，场景不断丰富，数据规模不断增长，目前已有 500+ 个 Kylin Cube。下周六，我们邀请到来自汽车之家的实时计算平台负责人邸星星，分享 Kylin 在汽车之家的应用与实践，包括在.

Kylin on HBase 方案经过长时间的发展已经比较成熟，但也存在着局限性，因此，Kyligence 推出了Kylin on Parquet 方案（了解详情戳此处）。通过标准数据集测试，与仍采用 Kylin on HBase方案的 Kylin 3.0 相比，Kylin on Parquet 的构建引擎性能有了很大的提升，对于复杂查询也有更好的性能表现。本篇文章主要通过使用标准 ...

Apache Kylin on Apache HBase 方案经过长时间的发展已经比较成熟，但是存在着一定的局限性。Kylin 查询节点当前主要的计算是在单机节点完成的，存在单点问题。而且由于 HBase 非真正列存的问题，Cuboids 信息需要压缩编码，读取 HBase 数据的时候再反序列化、分割，额外增加了计算压力。另外，HBase 运维难度比较大，不便于上云。面对以上问题，Kyligenc...

近几年，汽车行业全面拥抱电气化和数字化，一方面有行业先行者和政策法规的激励作用，另外一方面随着无线网络升级换代以及云计算技术越发成熟，车机端到企业端能够更加实时稳定传输丰富数据。如何利用好这些数据，为生产、营销决策提供支持是各大车企都迫切关心的问题。大数据分析对于车企的价值也更加凸显。对企业来说如何搭建一个可应对未来数据量几何级增长的数据分析平台？是选在在本地搭建还是云上？在数据湖上如何构建？...

在近期的Apache Kylin × Apache Hudi Meetup直播上，Apache Kylin PMC Chair 史少锋和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。下文是分享现场的回顾。我的分享主题是《基于 Hudi 和 Kylin 构建准实时、高性能数据仓库》，除了讲义介绍，还安排了 Demo 实操环节。下面是...

本文旨在为 Kylin 新手用户提供一份从下载安装到体验亚秒级查询的完整流程。文章分为两个部分，分别介绍了有 Hadoop 环境（基于 Hadoop 环境的安装）和没有 Hadoop 环境（从 Docker 镜像安装）两种场景下 Kylin的安装使用，用户可以根据自己的环境选择其中的任意一种方式。用户可以按照文章里的步骤对 Kylin 进行初步的了解和体验，掌握 Kylin 的基本使用技能，然...

亲爱的各位社区朋友：Apache Kylin 在 2014 年 10 月开源并加入 Apache 软件基金会的孵化器，一年后从孵化器毕业成为 Apache顶级项目。从第一天起，Kylin 的标语是「Extreme OLAP Engine for Big Data」。五年来，Kylin 已经成为了大数据版图中一个不可或缺的角色，帮助了全球上千家企业进行高效的大数据分析。经过五年...

前言此次的新型冠状病毒肺炎对我们所有人都带来了巨大影响，这种影响既因为病毒的高传染性威胁到了每个人的健康，也因为在大数据时代，各种纷繁复杂的疫情数据扑面而来（比如卫健委公布的诊断数据，各运营商、头部社交媒体等平台发布的位置、出行信息以及疫情分析数据等），也对广大民众解读数据、破解迷惑的数据分析能力提出了挑战。Kyligence作为耕耘大数据领域多年的专业厂商，今天特别邀请了我们的资深数据分...

Apache Kylin 所依赖的复杂的环境配置经常让初入门的小伙伴们晕头转向，社区开发者验证 patch 的时候也多有不便。轻量级的部署方式「Kylin Docker Image」的出现完美地解决了这个老大难问题，上线后的短短 6 个月时间里被 pull 了 2.9 k+ 次，来自蚂蚁金服的朱卫斌同学正是这个便捷工具的作者。除了 Docker Image，卫斌的源码阅读文章《可能是全网最...

Apache Kylin社区于日前宣布：Apache Kylin v2.6.5 正式发布！欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询。01Release NotesApache Kylin v2.6.5 是继 v2.6.4 版本后的一...

Apache Kylin 最初由 eBay 开发，于 2015 年毕业成为 Apache 顶级项目，目前已被腾讯、美团点评、滴滴等全球上千家企业采用。Kylin 社区的成长离不开社区成员在代码、案例、文档等诸多方面不断的贡献，尤其是社区中的三十多位 Committer，他们不仅是社区里的技术中坚力量，也是热心的贡献者，来自丁香园的周天鹏正是其中一员。2018 年初，刚接触 Kylin 时，天鹏疯狂...

Apache Kylin 社区于日前宣布：Apache Kylin v3.0.1 正式发布！欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模离线与实时数据进行亚秒级查询。01 Release NotesApache Kylin v3.0.1 是继 v3.0.0...

Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinScheduler 后，Kylin 可以方便地将大数据平台各组件串联起来，让各个任务通过 DAG 统一调度。01背景Apache Kylin 是一个支持海量大数据的在线分析引擎，需要离线或流式地从 Apache Hive、...

近期新披露两个安全漏洞，一个是 Kylin 的 SQL 注入漏洞，一个是 Tomcat 的安全漏洞，因为 Kylin 使用 Tomcat 因此也受到影响。请大家参考下面的方法来尽快修复安全漏洞。Apache Kylin• CVE（Common Vulnerabilities and Exposures 通用漏洞披露）ID：CVE-2020-1937（https://cve.mitre...

千呼万唤始出来，Meetup 直播终于来啦～本次线上 Meetup 由 Apache Kylin 与 Apache Hudi 社区联合举办，将于 3 月 14 日晚进行直播，邀请到来自丁香园、腾讯、柯林布瑞以及 Kyligence 等公司的技术专家，为大家呈现 Kylin 与「由 Uber 开源的数据湖项目」Hudi 的精彩应用案例与实践。感兴趣的小伙伴可以直接点击文末「阅读原文」报名！...

前不久，我们在文章《飞行中换发动机——金融数据仓库架构转型的最佳实践》中介绍了Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析，从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现，并结合某国有大行数仓迁移项目的实施过程进行解读。...

在 1 月 4 号 ECUG 技术大会的分享中，Kyligence 的 CEO Luke Han 为大家带来了主题为《Apache Kylin 云原生架构的思考及规划》的精彩演讲，分享了 Kylin 如何拥抱云原生这一趋势。欢迎希望参与打造云原生Kylin 的同学踊跃联系我们 shaofengshi@apache.org，邮箱主题请备注「参与 Kylin 云原生开发」，下一代 Kylin 等着你...

节前，Kyligence 的资深讲师为大家带来了《面对上亿级别的用户行为数据，如何做到秒级响应分析》线上分享，介绍了如何使用 Apache Kylin 进行用户行为分析。错过直播的同学可以直接点击这里获取视频回放。（以下为现场Q&A）Kylin 的使用Q：Kylin 刷新的最小单位是什么? 另外数据源可以用 MySQL 吗？A：Kylin 最小的刷新单位是 Segment，...

联名账户作为常见的金融分析场景，蕴含了复杂的模型关系处理，并不是人人都可以轻松算对。本文从介绍关系开始，深入浅出向您介绍如何处理联名账户这种最常见的金融分析场景。常见的关系1）一对一关系最简单的关系是一对一关系。假设您有一个人的姓名列表和一个身份证号码列表。每个人有且仅有一个身份证号码，每个身份证号码能且仅能对应到一个人。一对一的关系相对较少，因为往往给定关系的两边都不可能与一...

7 月 12 日，，由 Kyligence 主办的首届 Kylin Data Summit 在上海浦东香格里拉盛大召开，来自各行业的 800 多位技术大咖参加此次大会。大会特别邀请了全球知名 IT 研究咨询公司 Gartner 研究总监 Julian Sun 为与会者带来了一场精彩的演讲。点击这里下载完整报告。关于演讲嘉宾Julian Sun （孙鑫）先生在Gartner担任研...

提起 SQL，相信从事过数据分析相关工作的同学，对此都不陌生。在零售、银行、物流等行业，业务往往会有复杂的分析需求，如半累加，多对多，时间窗口分析等，SQL 在处理这些场景时，就有些捉襟见肘了。那有什么方案能够轻松应对呢 ? 答案就是：MDX本文将从基本概念、BI 语义模型和分析场景来介绍 MDX 与 SQL 的区别。看完之后，相信您会更加了解为什么 MDX 比 SQL 加适合复杂分析场景...

随着数字化时代的不断深入，数据量持续呈现出爆发式增长势头。如何存储和处理海量数据已经成为一个亟需解决的问题，底层数据库领域正在经历新一轮的变革。作为这个领域为数不多来自中国企业，Kyligence 从最早的一款 Hadoop 上的 OLAP 引擎产品，经过三年时间的快速迭代，成为新一代的智能数仓产品。新产品利用AI技术大大简化产品的使用，加速大数据洞察，赋能平民数据科学家。这款倡导“增强分析...

全球各种大数据技术涌现的今天，为了充分利用大量数据获得竞争优势，企业需要高性能的数据分析平台，可靠并及时地提供对海量数据的分析见解。对于数据驱动型企业，在海量数据上交互式分析的能力是非常重要的能力之一。本测试侧重在多维分析场景，对比Spark SQL 与 Kyligence 产品在大规模数据集上的查询响应的性能差异和特点。测试产品介绍Spark SQL 本质上是基于 DA...

9月底，由 Kyligence 主办的金融科技沙龙在北京顺利召开。这次沙龙的主题是“新一代大数据架构升级”，Kyligence 特别邀请了企业代表中国建设银行、大地保险的技术负责人到场分享大数据建设之路。三十多家银行、保险、券商的技术和管理人员出席了此次会议。Kyligence 自2016年成立以来，有幸服务国内多个领先金融机构，招商银行、建设银行、银联、国泰君安、华泰证券、太平洋保险、大...

Apache Kylin 社区于日前宣布：Apache Kylin v3.0.0 正式发布！欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询，已被 eBay、腾讯、美团点评、滴滴、OLX 集团等全球上千家企业采用。011. release No...

上周，Kyligence 的两位资深讲师为大家带来了《如何使用 Kylin 进行海量自定义标签的用户画像分析》线上分享。错过直播的同学可以直接点击此处查看视频和下载演讲资料。以下为 Q&A 实录功能原理Q：在什么业务场景下会使用 intersect_count 函数？A: intersect_count 函数使用的业务场景，包括按各类标签和标签值做用户筛查、统...

导语：今天，大数据、数据科学、机器学习分析不再只是热词，已经真实地渗透于生活方方面面。根据福布斯，到2025年，全球每年将会有 175 泽字节的数据产生。Kyligence的诞生为企业带来了极速的大数据分析体验 。当企业要对大规模的数据进一步进行更为复杂的分析如对销售额进行预测时，传统的分析工具就捉襟见肘了 。这篇文章将以基于Spark的分布式机器学习平台 Databricks为例，为您提供一...

过去 7 年，上汽通用一直在大数据技术方面不断做新的尝试，这个尝试的根本目标之一是解决制造业的传统数据仓库无法支撑海量数据加载、分析的问题。上汽通用的大数据开发经理徐雷，结合多年来负责上汽通用大数据平台的建设以及相关开发工作经验，在 7 月 12 日的 Kylin Data Summit 上，为大家深入讲解了这几年上汽通用大数据平台的设计、演进、发展历程。今天，小编就带大家一起...

长虹公司概况长虹创始于 1958 年，公司前身国营长虹机器厂是我国“一五”期间的 156 项重点工程之一，是当时国内唯一的机载火控雷达生产基地。从军工立业、彩电兴业，到信息电子的多元拓展，长虹已成为集军工、消费电子、核心器件研发与制造为一体的综合型跨国企业集团，并正向具有全球竞争力的信息家电内容与服务提供商挺进。历经三个阶段、50 余年的发展，长虹的销...

使用 Kylin 2.6.4 之前的版本并且以 Memcached 作为查询缓存时，即有概率触发 Memcached IO 线程死亡问题，本文作者为大家分享了如何通过实验一步步排查，找出问题根源，并通过非常简单的方式解决这一 bug 的过程。前提条件使用 Kylin 2.6.4 之前的版本并且使用 Memcached 作为查询缓存，即有概率触发该问题。故障现象K...

在近期的 Apache Kylin Meetup 北京站上，我们邀请到了一点资讯的大数据平台高级工程师毛洪玥来分享 Kylin 在一点资讯的应用。本次分享由一点资讯 OLAP 发展历程和系统基础架构开始，以 Kylin 在一点资讯的业务需求和实践经验为依托，分享针对数据量较大的Cube如何提高查询响应速度，如何缩短构建时间，如何缓解 HBase 压力来提升稳定性，及使用过程中遇到的特殊数据问题...

本文讲解了时间序列数据异常值检测的基本概念和在 Kylin 中开发使用异常值检测 UDF 的方法，可以作为其他 UDF 开发的参考。通过在 Kylin 中移植 Hivemall 的 UDF，我们可以充分利用 Kylin 的优势，减少直接使用 Hivemall 过程中的数据加工、存储等繁杂步骤的工作量，提升用户的查询体验。本文使用的验证环境为 Kylin 2.6.3。时间序列数...

DT时代，银行业务趋向敏态化，数据量呈现出爆炸式增长态势，这些蕴涵无限价值的大数据给整个银行体系带来了创新动能，成为银行提升竞争力的关键因素。从业界数据管理和数据利用的趋势来看，数据平台进化已成为各银行急需解决的问题。如何选择进化路径？本期，我们邀请了 Kyligence 资深解决方案架构师李明江分享他对银行业数据平台进化的洞察。银行业是最早进行电子化、信息化建设的行业之一，也...

盘点 2019 年技术圈的热词，一定会提到“数据中台”。Kyligence 的 CTO 李杨曾在媒体采访中提到，中台并不是一个技术平台，也没有标准架构，中台负责提供 3 方面的内容：共享的数据服务（Data-as-a-Service） 集中治理数据资产（Governance） 用数据改造业务（Data changes business）今天，就共享的数据服务，我们来聊一聊...

中国建设银行有着将近 20 年的数据仓库建设历史，其技术平台的转型和应用建设过程，既是引领国内各大银行数据仓库建设的标杆和榜样，同时也可以说是国内银行业数仓建设历程的一个缩影。2000 年初，建行开始启动数据仓库的规划和构建，最早采用了 Teradata 一体机平台，为业务提供了集成、统一的数据仓库平台，但随着数据量和分析应用数量的快速增长，一体机平台成本昂贵、技术封闭等痛点开始凸...

正在调研 OLAP还在纠结是否尝试 Kylin ？刚接触 Kylin还不知道怎么使用？作为开源的分布式分析引擎，Apache Kylin™ 提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，与多种数据可视化工具（如 Tableau、Power BI 等）的整合能力，已被 eBay、腾讯、美团点评、滴滴、OLX ...

在过去，由于粗粒度缓存过期策略和外部缓存的缺乏，查询缓存在 Kylin 中的使用效率不高。由于激进的缓存过期策略，有用的缓存经常被不必要地清理。因为查询缓存存储在本地服务器中，它们因而不能在服务器之间共享。同时，由于本地缓存的大小限制，并不是所有有用的查询结果都可以被缓存。针对这些不足，我们使用签名检查来实现新的查询缓存失效策略，并引入 memcached 作为 Kylin 的分布式缓存，...

上周，Kyligence 企业级大数据分析平台研发负责人张逸凡，为大家带来了《Kyligence 与 Kylin 功能差异详解》线上分享，点击这里查看视频和下载对比白皮书。以下是实录 Q&AQ：请简单讲述开源软件的运作方式，Kyligence 在社区又扮演的角色是什么？A：开源软件的发展和商业软件不同，开源软件是由开源社区来驱动；开源社区是由个人贡献者志愿组成的...

Kyligence ODBC Driver for MacMac 用户看过来！今天我们发布了针对 Mac 用户的 Kyligence ODBC 驱动程序。现在，使用 Mac 工作的分析团队可以充分利用 Kyligence 极速的大数据分析功能。Apache Kylin用户的升级路径对于 Apache Kylin用户，如果您的团队主要在Mac上进行数据分析。对此...

Github Star 1w+的开源 BI Redash 如何连接 KylinRedash 是一款开源 BI 工具，易于部署且具有丰富的基于 Web 的数据库查询与数据可视化功能，支持多达40 多种数据源，涵盖 RDBMS、NoSQL、时序数据库等，Github Stars 数目前已达 14000+。Redash 从 6.0.x 开始正式支持 Apache Kylin 作为数据源。...

近日，Databricks 融资四个亿估值 62 亿美金的新闻引爆了整个技术圈。Spark 历经 10 年发展，已经成为当今最炙手可热的开源技术框架之一。熟悉我司的朋友都知道，我们的最新产品已经实现了 all On Spark，不管是构建引擎还是查询引擎，所有的管理全都基于 Spark 运作。全栈 Spark 架构不仅给构建和查询带来更好的性能，提升服务的时间响应的及时性，也能为企业客户减少采...

近期的 Apache Kylin Meetup 深圳站上，我们邀请到腾讯的程广旭与 T3 出行的杨华分享了 Kylin 在腾讯的应用。本次分享分为两个部分，第一部分介绍了 Kylin 的平台化改造实践及改造后的预期效果，第二部分会介绍 Flink Cube Engine 的原理、使用方法及独特优势。现场视频链接: https://v.qq.com/x/page/n0928qt51g...

11 月 16 日，Apache Kylin Meetup 即将走进北京！本次 Meetup 由 Apache Kylin 联合滴滴开源举办，邀请到来自滴滴、微众银行、一点资讯以及 Kyligence 等公司的技术专家为大家呈现 Kylin 与微众银行开源的大数据计算中间件 Linkis 的精彩应用案例与实践。感兴趣的小伙伴可以扫描文末二维码报名！活动议程13：00-13：30...

近日，AWS 首席布道者 杰夫·巴尔（Jeff Barr）在官方博客发布标题为《迁移完成–亚马逊的消费者业务部关闭最后的 Oracle 数据库》的文章，正式宣布其核心交易系统数据库迁移完成。在此之前，AWS在2018年就完成了传统数仓向Redshift的迁移。AWS 的迁移对我们传统数仓有何借鉴意义呢？我们邀请了 Kyligence 金融行业高级业务顾问 陈晓杰，为大家带来这篇文章。陈晓杰在数据仓...

2019年9月20日，中国大地保险信息科技部数据平台处处长助理张磊先生，应邀出席大数据分析技术及解决方案供应商 Kyligence 主办的首届金融科技沙龙，并为大家做了题为《中国大地保险的大数据应用架构演进之路》的演讲，分享了中国大地保险在大数据方面的实践与经验。中国大地保险是全国性的财险公司，公司从2003年成立至今已有16年。2018年年底，中国大地保险西藏分公司的正式开业标志着公司保险业...

作者：史少锋，Apache Kylin committer & PMC，2019/10/11在上次文章《如何在 1 秒内做到大数据精准去重》中，我们介绍了 ApacheKylin 为什么要支持大数据集上的精确去重，以及基于 Bitmap 的精确去重原理等。看到今天的文章标题，你肯定要问，精确去重跟用户行为分析又能有什么关系呢？原来啊，Kylin 采用 Bitmap 完整记录了每...

随着移动互联网的迅猛发展，金融，电信，制造，零售等行业的营销重点都由线下转到了线上，数据规模呈现爆发式增长。经过多年的努力和实践，在大规模的数据分析领域已经有不少成熟的解决方案。而当下，企业面临的一个新的挑战就是数据分析的实时性。例如，在双11活动当天，如何根据当前客户消费数据实时调整销售货品和广告渠道，实现营销最大化是电商共同的目标和挑战。传统数仓+实时分析传统数据仓库通过批量导入业务源...

Apache Kylin社区于日前宣布：Apache Kylin v2.6.4 正式发布！欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询。01 Release NotesApache Kylin v2.6.4 是继 v2.6.3 版本后的一...

9月底，由 Kyligence 主办的金融科技沙龙在北京顺利召开。这次沙龙的主题是“新一代大数据架构升级”，Kyligence 特别邀请了企业代表中国建设银行、大地保险的技术负责人到场分享大数据建设之路。三十多家银行、保险、券商的技术和管理人员出席了此次会议。Kyligence 自2016年成立以来，有幸服务国内多个领先金融机构，招商银行、建设银行、银联、国泰君安、华泰证券、太平洋保险、大地保...

去重计数在企业日常分析中应用广泛，如用户留存、销售统计、广告营销等。海量数据下的去重计数十分消耗资源，动辄几分钟，甚至几小时，Apache Kylin 如何做到秒级的低延迟精确去重呢？什么是去重计数去重计数是数据分析中的常用分析函数，指查询某列中不同值的个数，在 SQL 中的函数是 count(distinct col)。它与 count(col) 函数的区别在于有一个 distin...

IoT 概念最早在 1985 年由 Peter T. Lewis 提出，至今已经 30 余年。近年来伴随着人工智能技术、5G 的快速发展，IoT 技术的应用再次成为了业内关注的焦点。点此下载 PPT，了解更多 AIoT 相关内容​kyligence.ioKyligence 在帮助企业建设大数据平台的过程中，也见证了 AIoT 技术从概念到实践的演变，亲历了诸多前沿应用。今天就 AIoT...

工业互联网和 5G 时代正逐步到来，万物智能网联、智能互联已成为一种趋势。目前物联网应用在很多场景下，如智慧制造、智慧城市、智慧农业等。本文以智慧城市为背景，介绍西安中服软件有限公司是如何利用大数据分析神兽 Apache Kylin，让物联网的传感器信息，通过云化的大数据物联网云平台，对感知的数据进行分析处理，进而满足智慧城市的建设需求。业务背景作为智慧城市的重要组成部分，智慧楼宇也...

“随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维度（Mandatory Dimension）等。”正如...

近年来，金融企业纷纷拥抱金融科技，寻求大数据技术与金融的深度结合，用科技驱动金融业务，为用户带来更加智能化的体验，打造行业竞争力，提升金融服务效率。银行、证券等金融机构希望结合多源数据进行自助式、细粒度多维运营分析，抓取更精准的客户画像，实现消费轨迹及预测等，赋能精细化营销。还希望可以通过数据筛查，对所关心行业的相关行业的风险做出预判、尽早发现并规避风险，实现更全面的风控等。而实现这一切的基石...

在 7 月首届 Kylin Data Summit 上，大会特别邀请到了eBay 全球研发副总裁、中国研发中心总经理田卫女士带来主旨演讲。eBay，这家在国内非常低调的老牌电商，以其深厚的技术基础在业内广受关注。熟悉 Kylin 的朋友也都知道，Kylin 项目最初也正是在 eBay 内部孵化并完成。今天小编就为大家回顾田卫女士当天的演讲，演讲主题是：增强分析在 eBay 的实践。增强分析...

前言Kylin 用户在使用 Spark的过程中，经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务，有些用户会使用 Livy 作为 Spark 的交互接口。在最新的 Apache Kylin 3.0 版本中，Kylin 加入了通过 Apache Livy 递交 Spark 任务的新功能[KYLIN-3795]，特此感谢滴滴靳国卫同学对此功能的贡献。...

UDF（User Defined Function 用户自定义函数）是 SQL 环境中很关键的特性。通过写 UDF，开发者可以方便地插入常用的处理代码并在查询中使用。Apache Kylin 支持持久化的 UDF。来自华安保险的赵兴成特别带来了 Kylin 中 UDF 的分享，快跟着兴成一探究竟吧～背景Apache Kylin 作为 OLAP 神器，在海量数据的多维分析方面优势明显，...

现如今，大数据、数据科学和机器学习不仅是技术圈的热门话题，也是当今社会的重要组成。数据就在每个人身边，同时每天正以惊人的速度快速增长，据福布斯报道：到 2025 年，每年将产生大约 175 个 Zettabytes 的数据量。目前我们所熟知的行业都越来越依赖于对大数据的高级处理和分析，如金融、医疗保健、农业、能源、媒体、教育等所有重要的社会发展行业，然而这些庞大的数据集让数据分析、数据挖掘、机...

本月在上海举行 Apache Kylin Innovation Meetup 活动中，eBay 大数据平台团队的马刚老师，为大家分享了Kylin 的实时流式 OLAP 分析的新功能；特别提醒，该功能目前已经开源，会在未来的版本中发布给社区试用！演讲完整视频为什么需要实时流数据分析？在以往的交流中，我们发现许多企业的大数据分析场景对数据的实时性要求很高，例如网站流量监测、安全告警、用户...

2019 年 7 月 12 日，国内首届以 Apache Kylin 为主题的大数据领域的前沿盛会 Kylin Data Summit 在上海落幕。在本次大会的制造业分论坛上，来自满帮集团的陈雅婕的分享「Kylin 在满帮集团千亿级用户访问行为分析中的应用」收获阵阵掌声，备受好评。海量数据下的用户访问行为分析一直是一大难题，满帮集团作为全国最大的车货匹配信息平台，每天会产生近十亿的流...

4 月 13 日，Apache Kylin Meetup 北京站顺利落幕，吸引了众多对大数据分析技术感兴趣的伙伴们到场参与，现场座无虚席。Kyligence 大数据研发工程师俞霄翔在现场与大家分享了 Kylin Real-time OLAP 功能的设计和实现，利用该功能实现的新浪微博实时热点分析 Demo 掀起了现场的小高潮。△ 俞霄翔讲解 Kylin Real-time OLAP...

大数据时代，数据的价值越来越被重视，企业从海量大数据中挖掘所需要的信息，用来驱动业务决策以获得更大的商业价值。与此同时，出现了越来越多的大数据技术帮助企业进行大数据分析，例如 Apache Hadoop，Hive，Spark，Presto，Drill，以及今天我们即将介绍的 Apache Kylin 和 Apache Phoenix 项目等，都是使用 SQL 语言就可以分析大数据，极大地...

通过 Real-time OLAP，Kylin v3.0 能够对接 Kafka 数据源，并且实现秒级的数据查询延迟。从 v3.0.0-alpha 发布到现在，世界范围内已有一些社区用户试用该特性并且提出意见，并且开发者在不断修复问题和提升易用性。Kyligence大数据工程师俞霄翔将通过一个 Demo，来演示如何实际使用 Real-time OLAP，并且会在配置过程中讲解重要的技术点, 帮助大家...

导语：今天，大数据、数据科学、机器学习分析不再只是热词，已经真实地渗透于生活方方面面。根据福布斯，到2025年，全球每年将会有 175 泽字节的数据产生。Kyligence的诞生为企业带来了极速的大数据分析体验 。当企业要对大规模的数据进一步进行更为复杂的分析如对销售额进行预测时，传统的分析工具就捉襟见肘了 。这篇文章将以基于Spark的分布式机器学习平台 Databricks为例，为您提供一套从...

全球各种大数据技术涌现的今天，为了充分利用大量数据获得竞争优势，企业需要高性能的数据分析平台，可靠并及时地提供对海量数据的分析见解。对于数据驱动型企业，在海量数据上交互式分析的能力是非常重要的能力之一。本测试侧重在多维分析场景，对比Spark SQL 与 Kyligence 产品在大规模数据集上的查询响应的性能差异和特点。测试产品介绍Spark SQL 本质上是基于 DAG 的 MP...

随着数字化时代的不断深入，数据量持续呈现出爆发式增长势头。如何存储和处理海量数据已经成为一个亟需解决的问题，底层数据库领域正在经历新一轮的变革。作为这个领域为数不多来自中国企业，Kyligence 从最早的一款 Hadoop 上的 OLAP 引擎产品，经过三年时间的快速迭代，成为新一代的智能数仓产品。新产品利用AI技术大大简化产品的使用，加速大数据洞察，赋能平民数据科学家。这款倡导“增强分析...

在 7 月 12 日的 Kylin Data Summit 上，来自丁香园的周天鹏获得“2019 最佳 Apache Kylin 社区贡献个人奖”，热心的天鹏同学修复了很多 Kylin 与 Tableau 集成的问题。社区小伙伴经常会问起『Tableau Generic JDBC可以连Kylin 吗』，终于，天鹏带来了下文为大家揭晓答案。周天鹏（左三）喜大普奔~ 喜大普奔~ ...

在近期的 Kylin Data Summit 上，好买财富平台架构总监王晔倞在互联网专场上分享了好买财富在中间件运维分析平台的演进过程。好买财富为什么选择从广泛应用的 ELK 转向 Apache Kylin 呢？王晔倞我们在监控上，通常会遇到哪些问题?1. 问题一：裸用各种开源监控，无法精准定位首先第一个问题，我们经常谈监控，监控其实是一种表象，底层其实都是通过一些数据...

背景：目前当 HBase 添加、删除节点，重启、移动 rgroup，或者 HBase table 移动 region server 等操作后，均需要 Kylin 的所有节点重启，理论上这些操作可以对上层应用透明，或者只有短暂的不可用后自行恢复。但是，目前咱们有 8 套 Kylin 集群均需要在 HBase 变动后进行 Kylin 重启，才可以继续提供相应的服务，对上层服务影响较大，HBase 的变...

还记得去年在 eBay 总部举行的 Apache Kylin Meetup 的火爆场面吗？接下来的 8 月，Apache Kylin Meetup 北美站再次与大家相约～在 2019 年，以历史数据分析见长的 Apache Kylin 开始涉足实时数据分析领域。实时数据处理是大数据开发的一个新兴领域，eBay 的 Kylin 开发团队基于 Kylin 开发了 Real-time OLAP 的特...

作为开源社区，Apache Kylin 社区的成长离不开用户在代码、案例、文档等方面不断的贡献。在 2019年，Apache Kylin 变得更为稳定，功能也更为丰富，以历史数据分析见长的 Kylin 开始涉足实时数据分析领域，社区力量也在不断壮大。在 7 月 12 日的 Kylin Data Summit 上，来自滴滴出行的技术专家靳国卫获得“2019 最佳 Apache Kylin 社区贡...

7 月 12 日，首届 Kylin Data Summit 峰会在上海顺利举办，这是 Apache Kylin 自开源以来的第一次全国社区大会，也是首届 Kyligence 用户大会。现场汇聚了约 800 位来自不同地区和行业的嘉宾，来自 Gartner、微软、eBay、建设银行、农业银行、中国银联、太平洋保险、上汽通用、滴滴等企业的专家们也在本次峰会上做了精彩演讲 。Kylin Data...

上周五，由 Kyligence 主办的首届 Kylin Data Summit 在上海浦东香格里拉盛大召开，来自各行业的 800 多位技术大咖参加此次大会。大会特别邀请了全球知名 IT 研究咨询公司 Gartner 研究总监 Julian Sun 为与会者带来了一场精彩的演讲。很少在国内大会露脸的 Gartner 这次究竟在大会上说了什么呢？快随小编一起来围观吧！关于演讲嘉宾Julian ...

互联网人口红利逐渐消失，越来越多的运营、市场、产品同学聚焦用户留存/转化。经常有小伙伴在 Kylin 用户群里问「Kylin 可以做留存分析吗」「Kylin 可不可以做用户增长漏斗分析呀」答案当然是「Yes！」今天为大家带来“征文赢首届 Kylin Data Summit 门票”活动的第 3 篇投稿文章，来自某互联网金融公司的杨卫将为大家分享如何使用 Kylin 进行渠道精准留存分析。...

7 月 9 日，在 36 氪主办的「2019 WISE 超级进化者大会」上，Kyligence 凭借自身快速发展及其在全球市场上的影响力，荣登36氪 “WISE 2019 新商业开创者 100 榜” 榜单。36 氪 「2019 WISE 超级进化者大会」旨在聚焦新商业进化过程中的破局者们，而 “开创者 100 榜单” 是指企业估值在 5 亿人民币以上，业务极具创新性，近期主营业务快速增长的...

自 6 月 6 日开始“征文赢首届 Kylin Data Summit 门票”活动以来，投稿的小伙伴络绎不绝，大家对Kylin 的热爱与分享精神让我们燃到不行～绝对重磅的第一篇投稿文章终于来啦！相信关注本号已久的粉丝对如何在 Kylin 里使用 SQL 进行查询已经再熟悉不过，但你知道在这亚秒级响应的背后，Kylin是如何把对原始表的查询转换为对 Cube 的查询吗？来自蚂蚁金服的朱...

全国规模最大的新能源汽车充电设施运营商特来电目前项目遍及 282 个城市，面对爆发的业务需求，其基于传统关系型数据库搭建的报表系统性能下降明显。如何高效稳定地基于大数据平台的数据进行多维查询成为大难题，经过多方技术选型与验证，特来电为什么选择了 Kylin？今天为大家带来“征文赢首届 Kylin Data Summit 门票”活动的第二篇投稿文章，为大家揭秘特来电大数据平台的技术选型之旅。...