【HDFS】Hadoop-RPC：客户端侧通过Client.Connection#sendRpcRequest方法发送RPC序列化数据

叹了口丶气

已于 2023-09-08 15:41:34 修改

阅读量980

点赞数

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据 rpc

于 2023-09-08 15:40:26 首次发布

本文链接：https://blog.csdn.net/yexiguafu/article/details/132758676

版权

HDFS全方位实战专栏收录该内容

176 篇文章 151 订阅 ¥29.90 ¥99.00

订阅专栏

本文详细解析了Hadoop中客户端通过Client.Connection#sendRpcRequest方法发送RPC请求的过程。方法中，参数Call被序列化并由sendParamsExecutor线程池提交到服务端，然后使用get方法进行阻塞等待。目前架构存在一个问题，即发送请求是同步串行的，可能导致性能瓶颈。为了解决这个问题，需要实现不同NameNode对应的Client和sendParamsExecutor的隔离。

摘要由CSDN通过智能技术生成

org.apache.hadoop.ipc.Client.Connection#sendRpcRequest：
这个方法是客户端侧向服务端发送RPC请求的地方。调用点是Client#call方法过来的。

此方法代码注释里描述了一个细节：这个向服务端发送RPC请求数据的过程并不是由Connection线程发送的，而是其他的线程（sendParamsExecutor这个线程池）。

sendRpcRequest方法的逻辑如下：
1、把参数Call序列化到一个buffer里。这个过程是caller线程做的；
2、提交发送序列化数据buffer到服务端的任务
3、调用get方法阻塞式等待发送RPC请求完成。

    /** Initiates a rpc call by sending the rpc request to the remote server.
     * Note: this is not called from the Connection thread, but by other
     * threads.
     * @param call - the rpc request
     */
    public void