Flink运行时之基于Netty的网络通信中

最新推荐文章于 2024-09-14 10:14:50 发布

vinoYang

最新推荐文章于 2024-09-14 10:14:50 发布

阅读量5k

点赞数 1

分类专栏：【Flink】 Apache Flink 文章标签： Flink

本文链接：https://blog.csdn.net/yanghua_kobe/article/details/54383455

版权

本文深入探讨Flink运行时的网络通信，重点关注PartitionRequestClient及其与Netty的交互。PartitionRequestClient用于发起PartitionRequest请求，通过NettyMessage进行消息传递，其头部包含固定大小的帧和消息类型ID。NettyProtocol定义了客户端和服务端的事件处理逻辑和ChannelHandler数组，构建出流入和流出的数据处理管道。了解这些机制对于理解Flink内部通信至关重要。

摘要由CSDN通过智能技术生成

PartitionRequestClient

分区请求客户端（PartitionRequestClient）用于发起远程PartitionRequest请求，它也是RemoteChannel跟Netty通信层之间进行衔接的对象。

对单一的TaskManager而言只存在一个NettyClient实例。但处于同一TaskManager中不同的任务实例可能会跟不同的远程TaskManager上的任务之间交换数据，不同的TaskManager实例会有不同的ConnectionID（用于标识不同的IP地址）。因此，Flink采用PartitionRequestClient来对应ConnectionID，并提供了分区请求客户端工厂（PartitionRequestClientFactory）来创建PartitionRequestClient并保存ConnectionID与之的对应关系。

接下来，我们重点分析一下其请求ResultPartition的requestSubpartition方法：

public ChannelFuture requestSubpartition(
        final ResultPartitionID partitionId,
        final int subpartitionIndex,
        final RemoteInputChannel inputChannel,
        int delayMs) throws IOException {
    checkNotClosed();

    //将当前请求数据的RemoteInputChannel的实例注入到NettyClient的ChannelHandler管道的
    //PartitionRequestClientHandler实例中
    partitionRequestHandler.addInputChannel(inputChannel);

    //构建PartitionRequest请求对象
    final PartitionRequest request = new PartitionRequest(
            partitionId, subpartition