SpringWebFlux结合多线程编写流式处理异步返回接口

概要

java使用多线程为关系型数据库结合spring响应式编程模拟流式处理

整体架构流程

使用webFlux的时候如果涉及到数据库操作是需要数据库支持的，非关系型数据库对此支持比较友好如redis的ReactiveStringRedisTemplate 和MongoDB的 ReactiveMongoRepository 就支持该功能，但是关系型数据库oracle，mysql等就不支持了，对于关系型数据库采用一个曲线救国的思路，使用多线程对数据分区处理以达到响应式效果

技术细节

private final ExecutorService asyncTaskExecutor = Executors.newFixedThreadPool(2);

@GetMapping(value = "/data", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> similarityJudgment(SimilarityParams params) {
        return Flux.<String>create(fluxSink -> {
            List<CompletableFuture<Void>> futures = new ArrayList<>(10);
            for (int i = 0; i < 10; i++) {
                int finalI = i;
                CompletableFuture<String> objectCompletableFuture = CompletableFuture.supplyAsync(() -> {
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                    //A:每个线程处理一个分区数据
                    return Thread.currentThread().getName() + "||" + finalI;
                }, asyncTaskExecutor);

                CompletableFuture<Void> voidCompletableFuture = objectCompletableFuture.thenAccept(similarityBndRules -> {
                    fluxSink.next(similarityBndRules);
                });
                futures.add(voidCompletableFuture);
            }
            CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).thenRun(() -> {
                fluxSink.complete();
            });
        });
    }

如代码所示，关键在于A处注释所说，需要按照自己的业务划分，将任务划分为多个部分，每个线程处理一部分数据，以此达到前面所说的多线程对数据分区处理，这样每个线程处理结束后结果会直接返回到界面，而不必等到所有任务结束才返回，达到数据流动效果，等所有线程结束然后使用complete()方法结束流。这里的
produces = MediaType.APPLICATION_STREAM_JSON_VALUE是必须的。
如上代码所示，如果这个接口整个任务要10s，配置一个2个线程的线程池，cpu只要不是单线程的那理论上最终任务处理会缩短到5s，并且界面上能看到的效果是每隔一秒就会收到2个数字，直到收到10个数字请求结束，但是从 0到9的顺序是无序的。
使用webflux功能时会收到警告日志：
Streaming through a reactive type requires an Executor to write to the response.
Please, configure a TaskExecutor in the MVC config under “async support”.
The SimpleAsyncTaskExecutor currently in use is not suitable under load.
需要用户自定义一个线程池，而不是使用mvc默认的线程池。配置springMVC自定义线程池如下

@Configuration
public class WebJsonConverterConfig implements WebMvcConfigurer {

    @Autowired
    @Qualifier("MyThreadPoolTaskExecutor")
    private ThreadPoolTaskExecutor asyncTaskExecutor;

    @DependsOn(value = {"MyThreadPoolTaskExecutor"})
    @Override
    public void configureAsyncSupport(final AsyncSupportConfigurer configurer) {
        configurer.setDefaultTimeout(60 * 1000L);
        configurer.registerCallableInterceptors(timeoutInterceptor());
        configurer.setTaskExecutor(asyncTaskExecutor);
    }

    @Bean
    public TimeoutCallableProcessingInterceptor timeoutInterceptor() {
        return new TimeoutCallableProcessingInterceptor();
    }

}

其中MyThreadPoolTaskExecutor是一个自定义的线程池，定义在了其他配置文件

小结

当然，如果服务器性能足够，那配置10个线程理论上1s就能得到所有结果，所以性能足够强大的话那我们似乎也不需要做流式处理了