TransportContext

最新推荐文章于 2023-12-22 22:15:00 发布

宝哥大数据

最新推荐文章于 2023-12-22 22:15:00 发布

阅读量429

点赞数

分类专栏： # spark

本文链接：https://blog.csdn.net/wuxintdrh/article/details/89294166

版权

spark 专栏收录该内容

145 篇文章 14 订阅

订阅专栏

TransportContext：传输上下文，包含了用于创建传输服务端（TransportServer）和传输客户端工厂（TransportClientFactory）的上下文信息，并支持使用TransportChannelHandler设置Netty提供的SocketChannel的Pipeline的实现。
构造如下

    public TransportContext(
            TransportConf conf,
            RpcHandler rpcHandler,
            boolean closeIdleConnections) {
        this.conf = conf;
        this.rpcHandler = rpcHandler;
        this.closeIdleConnections = closeIdleConnections;
    }

TransportConf，控制Netty框架提供的shuffle I/O交互的客户端和服务端线程数量（又发现新的参数）。
RpcHandler,负责shuffle的I/O服务端在接受到客户端的RPC请求后，提供打开Block或者上传Block的RPC处理, 此处即NettyBlockRpcServer
decoder,在shuffle的I/O服务端对客户端传来的ByteBuf进行解析，防止丢包和解析错误
encoder,在shuffle的I/O客户端对消息内容进行编码，防止服务端丢包和解析错误。
- 拓展知识：为什么需要MessageEncoder和MessageDecoder？因为在基于流的传输里（比如TCP/IP），接收到的数据首先会被存储到一个socket接收缓冲里。不幸的是，基于流的传输并不是一个数据包队列，而是一个字节队列。即使你发送了2个独立的数据包，操作系统也不会作为2个消息处理而仅仅认为是一连串的字节。因此不能保证远程写入的数据会被准确地读取。举个例子，让我们假设操作系统的TCP/TP协议栈已经接收了3个数据包：ABC、DEF、GHI。由于基于流传输的协议的这种统一的性质，在你的应用程序在读取数据的时候有很高的可能性被分成下面的片段：AB、CDEFG、H、I。因此，接收方不管是客户端还是服务端，都应该把接收到的数据整理成一个或者多个更有意义并且让程序的逻辑更好理解的数据。