ApacheFlink
文章平均质量分 94
ApacheFlink官方生产案例
@SmartSi
Stay Hungry, Stay Foolish
展开
-
Flink⼤状态作业调优实践指南:Datastream 作业篇
Apache Flink 是一个开源的流处理框架,用于处理和分析实时数据流。在 Flink 中,状态管理是流处理应用的核心概念之一,它允许算子(operators)在处理事件时保持和操作状态信息。在 Flink 中,状态可以被视为算子的“记忆”,它使得算子能够在处理无界流数据时保持对历史数据的跟踪。状态可以是简单的键值对,也可以是更复杂的数据结构,如列表、集合或自定义对象。状态的更新和查询对于实现复杂的流处理逻辑至关重要。转载 2024-08-04 10:04:51 · 27 阅读 · 0 评论 -
基于 TiDB + Flink 实现的滑动窗口实时累计指标算法
当前的市场环境对产品运营提出了更高的要求,特别是对数据指标实时性的要求日益严格。为了能够实时监测数据动态和特征用户的状态,我们采用了分布式数据库 TiDB 和计算框架 Flink 的组合,提出了一种基于滑动窗口的实时累计指标算法。该算法能够在市场营销活动中发挥积极的作用,显著改善用户体验并促进收益增长。转载 2023-05-07 15:35:49 · 461 阅读 · 0 评论 -
Flink Unaligned Checkpoint 在 Shopee 的优化和实践
反压严重时,Aligned Checkpoint(下文简称 AC)超时主要在于 Barrier 在数据流中排队。反压严重时,数据流动很慢导致 Barrier 流动很慢,最终导致 AC 超时。UC 的核心思路是:当数据流动很慢时,Barrier 通过某些机制超越数据,从而使得 Barrier 可以快速地从 Source 一路超车到 Sink。转载 2022-11-12 22:50:09 · 834 阅读 · 0 评论 -
实时数仓在有赞的实践
随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。转载 2022-10-13 23:50:02 · 748 阅读 · 0 评论 -
Flink SQL 在快手的扩展和实践
本文整理自快手实时计算团队技术专家张静、张芒在 Flink Forward Asia 2021 的分享。转载 2022-10-07 08:54:31 · 343 阅读 · 0 评论 -
快手基于 Flink 构建实时数仓场景化实践
文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》转载 2022-10-04 19:34:05 · 187 阅读 · 0 评论 -
快手实时数仓保障体系研发实践
本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:业务特点及实时数仓保障痛点快手实时数仓保障体系架构春节活动实时保障实践未来规划转载 2022-09-27 23:17:10 · 248 阅读 · 0 评论 -
美团基于 Flink 的实时数仓平台建设新进展
美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不太普及,平台只提供了 Flink Jar 任务的生命周期管理和监控报警。2019 年,我们注意到实时计算的主要应用场景是解决离线数仓时效性低的问题。离线数仓已经比较成熟,通过 SQL 方式开发很简单,而数仓的实时部分主要通过 Flink DataStream API 来开发,门槛比较高,而且与离线数仓的开发方式相比较为割裂。因此,我们开始调研实时数仓的解决方案,目标是降低开发门槛,并尝试推广 FlinkSQL,最终将美团的实时数仓转载 2022-09-27 08:47:59 · 275 阅读 · 0 评论