Hadoop RPC 详解（参数调优）

Hadoop RPC对外提供了一些可配置参数，以便于用户根据业务需求和硬件环境对其进行调优。主要的配置参数如下。

Reader线程数目。由参数ipc.server.read.threadpool.size配置，默认是1，也就是说，默认情况下，一个RPC Server只包含一个Reader线程。

每个Handler线程对应的最大Call数目。由参数ipc.server.handler.queue.size指定，默认是100，也就是说，默认情况下，每个Handler线程对应的Call队列长度为100。比如，如果Handler数目为10，则整个Call队列（即共享队列callQueue）最大长度为：100×10=1000。

Handler线程数目。在Hadoop中， ResourceManager和NameNode分别是YARN和HDFS两个子系统中的RPC Server，其对应的Handler数目分别由参数yarn.resourcemanager. resource-tracker.client.thread-count和dfs.namenode.service.handler.count指定，默认值分别为50和10，当集群规模较大时，这两个参数值会大大影响系统性能。

客户端最大重试次数。在分布式环境下，因网络故障或者其他原因迫使客户端重试连接是很常见的，但尝试次数过多可能不利于对实时性要求较高的应用。客户端最大重试次数由参数ipc.client.connect.max.retries指定，默认值为10，也就是会连续尝试10次（每两次之间相隔1秒）。