【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用

文章目录

• • 一、浅谈实时数仓
    • • 1.1 实时数仓体系
        • 1.2 实时 & 离线
    • 二、状态复用场景
    • • 2.1 问题
        • 2.2 解决方案
        • • 2.2.1 方案一
            • 2.2.2 方案二

一、浅谈实时数仓

整理自：【实时数仓篇】利用 Flink 实现实时状态复用场景
讲师：李晨（菜鸟 数据工程师）

1.1 实时数仓体系

1.2 实时 & 离线

TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。

架构的亮点：connector 实现了离线计算的数据和实时计算的互通。

二、状态复用场景

2.1 问题

问题
场景一：job的operator变化（sql修改），checkpoint无法自动恢复，savepoint恢复机制无法满足，比如增加group by 和 join 。 集群或调度异常情况下导致job在恢复重启时路径 or 目录丢失，重新消费历史数据会依赖上游数据源存储失效。比如近一个月的数据，要将一个月甚至更长的消息存储在Kafka/TT里。

场景二：用户state生命周期（ttl）设置过小可能会导致一些长周期业务数据到期join不到丢失，retract 时产生NPE报错等。设置过大，资源消耗大。

2.2 解决方案

2.2.1 方案一

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**