美团批流一体增量数仓建设与实践(PPT)

数据生产一直以来存在离线与实时两套流程,口径不统一,维护成本高,数据生产就绪时间将会越来越难保证,伴随着实时数仓的SQL化和实时数仓平台的推广,一些业务团队实时与离线开发开始集中到同一批人身上,开发方式也逐渐趋同,离线与实时流程统一具备了实现的要求,基于美团长期以来的能力储备,我们适时的提出增量生产,以解决离线数仓就绪时间难保证、离线+实时两套生产流程所带来的数据正确性、开发成本等问题。

9596a0b8416b8b52e48d5473b26373bc.png

8b683951431dc50480ee32c905e21d90.png

635c719ba12c01b6a37c94bc0dc9c39a.png

5f781a549d1554d7e97bcc89b917779b.png

317bcffd56769576b41762da4a2a4574.png

37994799cfa608e803528a5dc104f8b1.png

427ae4abbba4771bd5152bf5064bbfed.png

78af28e123bf2876996174c876bbf0e3.png

2edefab360153262561252ce0fdc38eb.png

1563b8a218b903565682f51ca72f7469.png

78618333d9bb21e81f2b737060da8fdf.png

7cb85134b47c54b91f28d7bdc61a5d6d.png

4b2d7d2246c9c96db899265935cbf5b7.png

a048b3bfbf83b8927de1596f5c94a5f4.png

b0002edd8dcb8216aff18ce69e818f03.png

86fa756433859ece2996738ddc18ee83.png

58cc96bee54b40d4f58a1ab61feaca84.png

d421ecade89a35e40cb5aacfafe60b0f.png

2e80f5d79f19cfe02d0bc7fd75692c36.png

33f34ea32ab8f597f6ff0e2adf24dbcd.png

41a430a033f4443c997e464827f62c6b.png

f8b7341bb119aeb81edeabd33cc26992.png

cffcf44e9e7515e58a62f8143561fa2d.png

7b364e0c9911df2bc583b94b41e0a9eb.png

a11158658765f6a49ea7233eeefb0ce9.png

5f1f80d83287f9b16210a6b42ccbe5ab.png

53227f97816cfc7f072cff2c1e75119e.png

f9694a52633e6b24aa8f8f6ca93df2b1.png

f338d13b2029f5a7619afb613ef9a6c1.png

87ca7b05769d02cdad74de2e9166ebbf.png

4704507b88dc29dda805bc2649b58816.png

ce5048ba1741557b0ae834c8de22361f.pnge9cac99733ed2cb91c41a23b0a8f23d0.png

汤楚熙,美团数据系统开发专家

负责美团数据平台Flink引擎、平台工具等相关研发工作,对实时、离线数仓建设有较丰富经验,曾从0到1搭建起实时数仓开发工具链。目前主要工作精力集中在基于Flink的增量数仓的建设上,并持续推进流批一体在公司的落地,提升数据应用效能,助力业务发展。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值