Spark-2.4.0 源码学习系列《通信框架》之RpcEnv(NettyRpcEnv)

    RpcEnv是一个RPC环境， RpcEndPoint需要将自身注册到RpcEnv才能接收信息。RpcEnv将会处理RpcEndPointRef或远程节点发来的消息，并将消息传送给相应的RpcEndPoint.对于业务代码未捕获的的异常，RpcEnv会使用RpcCallContext.sendFailure方法将他们的发送回给发送方，或者打出日志（如果没有调用方），亦或者是NotSerializableException。

    RpcEnv是一个抽象类，它只有一个属性:   默认超时时间(defaultLookupTimeout，默认120s)

    RpvEnv目前只有一个实现类 - NettyRpcEnv，是我们本篇学习的主要内容。

    我们先来看下RpcEnv是在什么时候创建的：

    RpcEnv是在EndPoint(Master/Worker/Client)启动时创建的，这里我们列一下实现过程(截图是Master的startRpcEnvAndEndpoint方法，Master的启动过程以后会细讲)：

 1. EndPoint启动时创建RpcEnv:val rpcEnv = RpcEnv.create(systemName, host, port, conf, securityMgr)

 2. RpcEnv.create(...)初始化一个NettyRpcEnvFactory，并调用其create(config: RpcEnvConfig)方法

 3. NettyRpcEnvFactory在其create方法中初始化NettyRpcEnv，并返回。

下面我们来看下NettyRpcEnv初始化时干了哪些事：

 

    1. 创建信息传输的配置对象：transportConf

    2. 初始化调度器 Dispatcher（前面已经介绍过）

    3. 初始化一个数据流管理器(这里不做介绍，用来处理NettyRpcEnv中的文件)

    4. 传输上下文 TranSportContext

    5. 创建消息传输客户端的创建工厂：clientFactory

    6. 声明文件下载工厂

    7. 创建超时调度器 timeoutScheduler:ScheduledThreadPoolExecutor

    8. 创建客户端连接执行器

    9. 声明消息传输服务器 TranSportServer

    10. 创建stopped变量，标记RpcEnv是否停止，fals

    11. 创建 outboxes:ConcurrentHashMap[RpcAddress, Outbox] 。

        是否还记得前面介绍的一个EndPoint对应一个inbox，多个outbox ? 

        一个EndPoint对应一个RpcEnv，一个RpcEnv对应多个outbox,所以一个endPoint对应多个outbox

        看一下inbox的代码：

    

    可见，inbox和endPoint是一一对应的。

  可见，NettyRpcEnv初始化时初始化了dispatcher(inbox)、clientFactory、tranSportServer、outboxes等几个Spark通信需要的几个重要。