RocketMQ Streams拓扑构建与数据处理过程

本文作者：倪泽，Apache RocketMQ committer、RSQLDB/RocketMQ Streams Maintainer

01 背景

RocketMQ Streams 1.1.0版本已于近期发布，相对之前版本有以下改进和优化：

1、API层面支持泛型，可自定义输入输出数据；

2、去掉冗余逻辑，简化代码，重写拓扑图构建和数据处理过程；

本文章承接上篇：RocketMQ Streams 1.1.0: 轻量级流处理再出发，从实现原理上介绍RocketMQ Streams是如何实现流计算拓扑图构建的以及探讨了数据流转过程和流转过程中的状态变化。

02 流处理拓扑构建过程

public class example {
    public static void main(String[] args) {
        StreamBuilder builder = new StreamBuilder("wordCount");


        builder.source("sourceTopic", total -> {
                    String value = new String(total, StandardCharsets.UTF_8);
                    return new Pair<>(null, value);
                })
                .flatMap((ValueMapperAction<String, List<String>>) value -> {
                    String[] splits = value.toLowerCase().split("\W+");
                    return Arrays.asList(splits);
                })
                .keyBy(value -> value)
                .count()
                .toRStream()
                .print();


        TopologyBuilder topologyBuilder = builder.build();


        Properties properties = new Properties();
        properties.put(MixAll.NAMESRV_ADDR_PROPERTY, "127.0.0.1:9876");


        RocketMQStream rocketMQStream = new RocketMQStream(topologyBuilder, properties);




        Runtime.getRuntime().addShutdownHook(new Thread("wordcount-shutdown-hook") {
            @Override
            public void run() {
                rocketMQStream.stop();
            }
        });
        
        rocketMQStream.start();
    }
}

在使用者书写上述及连表达式时，发生第一次构建，即逻辑节点的添加，前后算子具有父子关系，构建后形成逻辑节点，多个逻辑节点形成链表。

逻辑构建结束后，调用StreamBuilder#build()方法进行第二次构建，将逻辑节点中可能包含的多个真实节点添加拓扑，形成处理拓扑图。

经过两次两次构建后，处理拓扑已经完整。但是为了区分不同topic使用不同拓扑处理&#x