使用Reactor完成类似的Flink的操作

一、背景

Flink在处理流式任务的时候有很大的优势，其中windows等操作符可以很方便的完成聚合任务，但是Flink是一套独立的服务，业务流程中如果想使用需要将数据发到kafka，用Flink处理完再发到kafka，然后再做业务处理，流程很繁琐。

比如在业务代码中想要实现类似Flink的window按时间批量聚合功能，如果纯手动写代码比较繁琐，使用Flink又太重，这种场景下使用响应式编程RxJava、Reactor等的window、buffer操作符可以很方便的实现。

响应式编程框架也早已有了背压以及丰富的操作符支持，能不能用响应式编程框架处理类似Flink的操作呢，答案是肯定的。

本文使用Reactor来实现Flink的window功能来举例，其他操作符理论上相同。文中涉及的代码：github

二、实现过程

Flink对流式处理做的很好的封装，使用Flink的时候几乎不用关心线程池、积压、数据丢失等问题，但是使用Reactor实现类似的功能就必须对Reactor运行原理比较了解，并且经过不同场景下测试，否则很容易出问题。

下面列举出实现过程中的核心点：

1、创建Flux和发送数据分离

入门Reactor的时候给的示例都是创建Flux的时候同时就把数据赋值了，比如：Flux.just、Flux.range等，从3.4.0版本后先创建Flux，再发送数据可使用Sinks完成。有两个比较容易混淆的方法：

• Sinks.many().multicast() 支持多订阅者，如果没有订阅者，那么接收的消息直接丢弃

• Sinks.many().unicast() 只支持一个订阅者，如果没有订阅者，那么保存接收的消息直到第一个订阅者订阅

• Sinks.many().replay() 不管有多少订阅者，都保存所有消息

在此示例场景中，选择的是Sinks.many(