Flink-sql回撤流实现待接单量统计

前言

让我们从一个简单的需求入手，来一起学习 flink-sql 回撤流的应用实现。

假设现在有一个需求，要统计当前时间的待接单量，即订单状态为“待接单”，我们使用 flink-sql 应该如何实现呢？

拆解实现

明确需求口径

这里的“待接单”是一个实时的标签：

• 当订单创建后 status = 1，订单标识为已创建
• 当订单接单后 status = 2，订单标识为已接单
• 当订单完成后 status = 3，订单标识为已完成

从数据发生的顺序可以看出，实时数据流应该是按照 创建 - 接单 - 完成 的节点顺序进行数据下发。所以不难理解所有订单被创建成功至接单前都应该有一个“待接单”的状态，只不过该状态可能维持不了多久，随着订单被接单而转变。

剖析技术难点

从上述需求拆解内容来看，本次需求的难点在于状态可变更，实现逻辑如下：

• 当前订单状态为“待接单”，统计值 + 1
• 当前订单状态为“已接单”，统计值  - 1

对于 统计值+1 比较好理解，有就加；那么 统计值-1 应该如何实现呢？这里就要用到 回撤流 的概念了，即告诉程序之前有一条记录虽然被统计到了，但是现在该记录的状态不符合了，我要撤回之前的那条记录，不要给我统计了。

回撤流的理解

回撤流可以理解为流式场景下对数据进行更新，这里的更新数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成一条delete消息和一条新的insert消息发往下游。

对于回撤流的理解可以参考下文，我觉得写的比较容易理解。

版权声明：本文为CSDN博主「土豆马铃薯」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/marui156/article/details/131970285

代码实现

获取最新订单状态

create view order_new_status as
select 
order_id
,status
,create_time
from (
    select 
        order_id
        ,status
        ,create_time
        ,row_number()over(partition by order_id order by status desc) rn
    from table
) a 
where rn = 1
;

统计待接单量

create view no_receive_order_cnt as 
select
    substr(create_time,1,10) as create_dt
    ,count(distinct order_id) as no_receive_cnt
from order_new_status 
where 
    status = 1
group by 
    substr(create_time,1,10)
;