Doris
文章平均质量分 95
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即时查询、统一数仓构建
@SmartSi
Stay Hungry, Stay Foolish
展开
-
美团 Doris Bitmap 精确去重优化实践
第一部分将介绍精确去重的业务场景以及现有的一些解决方案,并讲解 Doris MPP 架构在两阶段聚合实现中的原理和 Bitmap 数据结构的作用。在流量场景中,精确去重计算无疑是一项重要任务。尤其在计算多种维度下的去重指标时,如 PV、UV 及日活用户数等,去重指标的计算复杂度相较于普通指标(如 SUM 或 AVG)更高,更容易成为性能瓶颈。数仓生产:在 OLAP 引擎现场计算能力出现之前,去重指标的计算可以在数据仓库生产环节完成。转载 2024-01-30 07:55:19 · 526 阅读 · 0 评论 -
开源OLAP引擎(ClickHouse、Doris、Presto、ByConity)性能对比分析
TPC-DS(Transaction Processing Performance Council Decision Support Benchmark)是一个面向决策支持系统(Decision Support System,简称DSS)的基准测试,该工具是由TPC组织开发,它模拟了多维分析和决策支持场景,并提供了99个查询语句,用于评估数据库系统在复杂的多维分析场景下的性能。每个查询都设计用于模拟复杂的决策支持场景,包括跨多个表的连接、聚合和分组、子查询等高级SQL技术。转载 2023-05-29 22:44:41 · 1531 阅读 · 1 评论 -
37 手游如何用 StarRocks 实现用户画像分析
37 手游使用 StarRocks 已有半年多,在此期间非常感谢 StarRocks 团队的积极协助,感受到了服务速度和产品速度一样快,辅导我们解决了产品使用上的一些问题。首先介绍下 37 手游的背景。37 手游主要专注于移动端游戏发行和游戏运营,成功发行运营了《斗罗大陆:魂师对决》、《云上城之歌》等游戏。数据是游戏运营的基石,查询效率对业务人员的体验感受非常重要,因此提升查询效率是我们团队一直努力的目标。本次分享主要内容包含:37 手游的数据架构、StarRocks 对数据架构产生的影响,以及 S转载 2023-04-06 22:35:39 · 267 阅读 · 0 评论 -
知乎基于 Apache Doris 的 DMP 平台架构建设实践
知乎基于业务需求搭建了 DMP 平台,本文详细的介绍了 DMP 的工作原理及架构演进过程,同时介绍了 Apache Doris 在 DMP 平台的应用实践,本文对大家了解 DMP 工作方式很有帮助,欢迎阅读。转载 2023-04-05 08:55:48 · 463 阅读 · 0 评论 -
Doris 基于 Hive 表的全局字典设计与实现
我们在业务上需要OLAP引擎能够⽀持精确去重的预计算,但这个需求本身是不是合理的呢?目前线上数据分析会有一些与⾦钱相关的计算,比如某一个业务方要计算他们个人的销售业绩、以及一些广告的点击率等,这些能够转化为金钱的计算需求是要求精确去重的,近似去重是⽐较难以容忍的。转载 2023-03-07 23:33:00 · 707 阅读 · 0 评论 -
Apache Doris 基于 Bitmap 的精确去重和用户行为分析
本次由来自美团点评的康凯森同学带来了 Apache Doris (incubating) 基于 Bitmap的精确去重和用户行为分析。康凯森是美团点评Doris服务的负责人,同时也是Doris的PPMC&Committer。转载 2023-03-07 09:08:42 · 964 阅读 · 0 评论