Druid与Apache Kylin在美团的选型与实践

最新推荐文章于 2022-04-24 01:09:45 发布
最新推荐文章于 2022-04-24 01:09:45 发布
阅读量330 收藏 4
点赞数
文章标签： kylin 大数据
原文链接：https://mp.weixin.qq.com/s/61l0Kesm26wzaxJK8d54mQ
版权

8月5日，在Druid举办的中国用户组第五次Meetup上，高大月做了题为《Druid与Kylin在美团的选型与实践之领悟》的精彩演讲，向在场的大数据爱好者们介绍了美团点评的OLAP需求，及其大数据平台使用Druid和Apache Kylin的概况与性能对比。

 

 

开放的话题和干货满满的内容，激起了现场与会听众的热烈反响！错过了当天现场演讲的小伙伴们也不必遗憾，小编整理了高大月当天的演讲PPT，为大家再次还原干货内容！以下为高大月的演讲PPT实录：

 

weixin_49067219
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据Apache Druid（八）：Druid JDBC API和其他OLAP分析框架对比
Lansonli（蓝深李）的博客
08-15 1014
在大数据处理场景中，我们可以编写接口来读取Druid中的数据进行聚合操作，以供可视化展示使用。下面使用jdbc的方式来读取Druid中的数据。(支持Segment批量覆盖更新)N（Kudu 引擎支持）
【构建PB级准实时分析引擎】 - 对比druid，clickhouse,kylin,KAWQ,presto，spark sql，impala等主流开源离线数据分析引擎
巨魔战将
11-28 1486
文档说明   对于每日10TB+的数据增量，应该选择什么样的离线分析引擎，才能既高效，有低成本？   追求性能极限的同时，也需要兼顾向后扩展性，比如人才招聘，运维成本，部署成本，分析场景变化等，那么如何才能选择最适合自己的离线分析引擎呢？   本文从自身需求的视角出发，综合对比目前主流的开源离线分析方案，以寻找最合适的离线分析方案，来满足自己的需求。   对于目前较为主流的druid，clickhouse,kylin,KAWQ,presto，spark sql，impala进行了多方面的评比，仔细分析，以寻
Druid/Impala/Presto/Spark SQL/Kylin/Elasticsearch功能对比
Knight
08-07 1519
Druid Druid:是一个实时处理时序数据的OLAP数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间―去路由索引。 Kylin kylin:核心是Cube，Cube是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。 Presto Presto:它没有使用MapReduce，大部分场景下比Hive快一个数量级，其中的关键是所有的处理都在内存中完成。 lmpala lmpala:基于内存运算，速度快，支持的数据源没有Presto多。 Spark SQL.
美团点评：基于Druid的Kylin存储引擎实践
进行中
08-13 343
美团点评：基于Druid的Kylin存储引擎实践 https://mp.weixin.qq.com/s/y0wxLqtCkYcc-kLMmtawYA
Apache druid Roll-up前后的数据量对比sql，见证roll-up的强大
极客编程的专栏
07-04 688
简述 Roll-up 是Apahce druid 中重要的特性之一，在特定时间段内的数据，维度一致时可以进行压缩合并。减少数据量。 但有时为了估算压缩前后数据量如何查询呢？ 在druid 中默认提供了sum函数可以统计压缩前的数据量。 下面来看下语法如何写吧。 Roll-up前后的数据量对比sql SELECT SUM("count") as "roll-up前" ,COUNT(*) as " roll-up后" FROM table_name 查询效果 由于上面的维度值较多，roll-up效果 只做到
Meetup-Druid和Kylin
11-09
Druid和Kylin在美团点评的选型与实践：包括OLAP引擎选型和分类的详细介绍，Druid在美团点评的时间，Kylin在美团点评的时间，以及选型建议。
基于 Druid 的 Apache Kylin 存储引擎实践
weixin_34032779的博客
10-16 267
在2018年8月的Apache Kylin meetup@北京活动上，美团点评工程师做了关于使用 Druid 做为 Apache Kylin 存储引擎的实践，并更新了 Kylin 在美团点评的使用现状。 篇幅过长，完整资源地址www.slidestalk.com/s/KylinOnDr… ...
熵简技术谈 | 实时OLAP引擎之Apache Druid：架构、原理和应用实践
shangjiankeji的博客
08-14 827
在熵简数据智能解决方案中，其中离用户最近的一环，是利用数据中台对外提供的数据服务做数据分析。在金融、消费、工业等不同领域的场景中，数据分析的维度、方式、需求各不相同，不过其核心都离不开一个实时 OLAP 引擎，向用户实时提供各种维度和度量的上卷、下钻、切片、切块等类型的分析结果。 本文以实时 OLAP 引擎的优秀代表 Druid 为研究对象，详细介绍 Druid 的架构思想和核心特性。在此基础上，我们介绍了熵简科技在数据智能分析场景下，针对私有化部署与实时响应优化的实践经验。 作者信息 本文出自熵.
是选impala还是presto_Kylin、druid、presto、impala四种即席查询对比
weixin_35130354的博客
12-24 1146
一、什么是即席查询即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件理解：快速的执行自定义SQL(可能无法提前运算和预测)重点关注：数据存储格式和架构理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架二、Kylin1、定义：Apa...
i 技术会笔记 | Druid在爱奇艺的实践和技术演进
爱奇艺技术产品团队
05-29 1500
- 导读 -最近几年大数据技术在各行各业得到广泛应用，为企业的运营决策和各种业务提供支持。随着数据的增长，业务对数据时效性的要求，给企业的大数据分析带来了巨大挑战。针对海量数据的实时分析...
大数据 欧阳辰-实时大数据分析之利器Druid
12-22
大数据 欧阳辰-实时大数据分析之利器Druid大数据 欧阳辰-实时大数据分析之利器Druid
Druid 实时OLAP数据仓库架构详解
01-24
Druid：为OLAP而生，多快好省高。 • 多，可以处理海量的数据， Druid官网说可以扩展到PB级，这个量非常大。 • 快，亚秒级响应，官网说10亿量级下做到亚秒响应，我们实际应用也是亚秒响应，实时导入，导入即可查询。导入了以后我们就可以查询到，这个还是非常非常的牛的。 • 好，就是高可用，分布式容错架构，可以做到无宕机。 • 省，采用列存储，高效压缩。我举一下我们的例子，我们原始日志是10亿量级，我们选取16个维度，22个度量值，每天生成的索引是几百兆。 • 高，它支持高并发，可以是作为面向用户的应用
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1562
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
Druid SQL和Security在美团点评的实践
虚幻私塾
04-24 162
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 分享嘉宾：高大月@美团点评，Apache Kylin PMC成员，Druid Commiter 编辑整理：Druid中国用户组 6th MeetUp 出品平台：Data
kylin和druid的java_基于 Druid 的 Apache Kylin 存储引擎实践
weixin_33736666的博客
03-02 186
展开查看详情1.基于Druid的Kylin存储引擎实践美团点评康凯森2.⼤纲• Kylin On HBase 问题• Kylin 新存储引擎探索•Kylin On Druid3.Kylin 服务现状973 Cube 380万 次查询/天数据量 Cube存储 TP 50 TP 908.9万亿 971TB 200ms 1.2...
Kylin&Druid浅析
欲望以提升热忱 毅力以磨平高山
04-24 1万+
一、kylin 核心思想 Apache Kylin的核心思想是利用空间换时间，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase）， 同时由于Apache Kylin在查询方面制定了多种灵活的策略，进一步提高空间的利用率，使得这样的平衡策略在应用中值得采用。 kylin主要是对hive中的数据进行预计算，利用hadoop的mapreduce框架实现。 ...
OLAP(总)：Impala/Druid/Presto/Kylin/Clickhouse/Greenplum等对比
热门推荐
.
10-13 2万+
OLAP（On-LineAnalytical Processing）联机分析处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。应用在数据仓库，使用对象是决策者。OLAP系统强调的是数据分析，响应速度要求没那么高。目前市面上主流的开源OLAP引擎包含不限于：Hive、Presto、Kylin、Impala、Sparksql、Druid、Greenplum等 OLTP（On-Line Transact..
Kylin、druid、presto、impala四种即席查询对比--（转载）
奔跑入坑大数据
12-02 2446
一、什么是即席查询 即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件 理解：快速的执行自定义SQL（可能无法提前运算和预测） 重点关注：数据存储格式和架构 理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架 二、Kylin (over) 1、定义：Apache kylin是一个开源分布式分析引擎、提供Hadoop、Spark之
Druid 大数据分析
以梦为马
02-09 1万+
0. 前言OLTP 与 OLAPOLTP：OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。通俗的讲，就是对数据的增删改查等操作。OLAP：OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。通俗的讲，就是对数据按不同维度的聚合，维度的下钻，上卷等。其中，OLAP可以分为ROLAP,MOLAP和HOLAPROLA...
美团点评优化OLAP：Apache Kylin解决大数据查询痛点
在对比了市场上主流的OLAP引擎，如MPP架构（如Presto、Impala、SparkSQL和Drill），搜索引擎架构（如Elasticsearch）以及预计算系统（如Druid和Kylin）后，美团点评发现： - MPP架构的优势在于处理大数据量和灵活的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值