实时数仓
文章平均质量分 95
实时数仓
@SmartSi
Stay Hungry, Stay Foolish
展开
-
字节跳动基于数据湖技术的近实时场景实践
本讲嘉宾是来自抖音电商实时数仓团队的大数据工程师马汶园,分享主题为基于数据湖技术的近实时场景实践。转载 2023-08-16 21:47:31 · 104 阅读 · 0 评论 -
网易 实时数据仓库的发展、架构和趋势
数据处理现状:当前基于Hive的离线数据仓库已经非常成熟,数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于两个相关的热点问题:实时数仓建设和大数据架构的批流一体建设。转载 2023-08-16 15:43:36 · 144 阅读 · 0 评论 -
美团外卖实时数仓建设实践
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足业务多样需求。转载 2023-02-20 23:42:21 · 286 阅读 · 0 评论 -
实时数仓在滴滴的实践和落地
随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。转载 2023-02-20 21:36:27 · 437 阅读 · 0 评论 -
美团 数据实时化是广告行业数仓建设的主流趋势
数据实时化是数仓建设的趋势,相对于离线数仓,实时数仓能够给管理者、业务分析人员提供反应业务变化的实时数据,监控收入等关键指标的波动,及时根据市场热点变化调整运营策略,通过实时算法决策,提供更加满足用户需要的服务转载 2023-02-11 20:03:28 · 408 阅读 · 0 评论 -
实时数仓在有赞的实践
随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。转载 2022-10-13 23:50:02 · 713 阅读 · 0 评论 -
快手基于 Flink 构建实时数仓场景化实践
文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》转载 2022-10-04 19:34:05 · 177 阅读 · 0 评论 -
快手实时数仓保障体系研发实践
本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:业务特点及实时数仓保障痛点快手实时数仓保障体系架构春节活动实时保障实践未来规划转载 2022-09-27 23:17:10 · 239 阅读 · 0 评论 -
美团基于 Flink 的实时数仓平台建设新进展
美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不太普及,平台只提供了 Flink Jar 任务的生命周期管理和监控报警。2019 年,我们注意到实时计算的主要应用场景是解决离线数仓时效性低的问题。离线数仓已经比较成熟,通过 SQL 方式开发很简单,而数仓的实时部分主要通过 Flink DataStream API 来开发,门槛比较高,而且与离线数仓的开发方式相比较为割裂。因此,我们开始调研实时数仓的解决方案,目标是降低开发门槛,并尝试推广 FlinkSQL,最终将美团的实时数仓转载 2022-09-27 08:47:59 · 260 阅读 · 0 评论