关注公众号,了解一线大厂实时数仓最新资讯!
摘要:今天主要分享的内容是 Flink 在爱奇艺广告业务的实践,分享日期:2021年5月22日。内容包括:
业务场景
业务实践
问题解决
未来规划
Tips:点击文末「阅读原文」即可回顾作者原版分享视频~
1. 业务场景
业务场景分为4大类:
数据大屏:包括曝光、点击、收入等核心指标,以及故障率等监控指标
异常检测:用于发现系统投放异常,或业务指标趋势合理性
数据分析:数据赋能业务发展
特征工程:用于广告算法模型训练的特征实时化
2. 业务实践
数仓目标
数据完整性:
实时数据用于决策,需保证可查询数据的完整性
时效性,为最大化挖掘数据价值,需提升实时报表的最新进度
时效性vs完整性,即最新的稳定的数据
服务稳定性:
端到端服务稳定性,包括数据接入、计算(多层)、数据写入、进度服务、查询服务
数据质量:数据的准确性,以及数据趋势合理性
查询能力:
多种使用场景,查询方式和性能要求不一
不止是实时数据,实时+离线
数据跨源
查询性能
数仓挑战
数据进度:时效性vs完整性实时数据用于决策,查询到的数据稳定很关键
服务稳定性:生产服务链路长,端到端的数据服务稳定性
查询性能:OLAP分析,秒级响应
数据表:离线表vs实时表,单表列数上百列
3. 问题解决
4. 未来规划
识别下方二维码,回复“爱奇艺01”,即可获取PPT下载地址,记得设为星标哦
喜欢点外卖的小伙伴,可以关注我的外卖领券公众号,每天都可以领取大额券
历史经典文章: