【HDFS】Hadoop RPC中的Responder、Listener、Reader、Handler

叹了口丶气

已于 2022-06-26 21:16:27 修改

阅读量454

点赞数

分类专栏： HDFS全方位实战文章标签： hadoop hdfs rpc

于 2022-06-26 21:11:15 首次发布

本文链接：https://blog.csdn.net/yexiguafu/article/details/125474237

版权

HDFS全方位实战专栏收录该内容

176 篇文章 153 订阅 ¥29.90 ¥99.00

订阅专栏

本文详细梳理了Hadoop RPC中的关键组件，包括Responder的doAsyncWrite机制，Listener如何处理OP_ACCEPT事件并启动Reader线程，以及Reader如何通过readAndProcess方法读取和处理RPC请求。此外，还探讨了Handler如何从CallQueue中取出请求并调用实际服务方法，最终通过Responder发送响应。

摘要由CSDN通过智能技术生成

闲得无聊捋了一遍这块的源码，做个粗糙的笔记（阅读不友好型）。

Hadoop RPC中的几个类

NameNode#main()
|
initial()
|
NameNoeRpcServer#start()
|
Server#start()：
----启动Responder ： run方法里会调doAsyncWrite，如果一次没处理完，还会attach到channel，下次继续处理。
----启动Listener ：绑定监听端口，注册OP_ACCEPT事件，执行doAccept方法。初始化Reader线程并start Reader线程（目前用Round-Robin方法选择Reader）。 doAccept方法中主要就是构造Connection对象，然后注册到ConnectionManager中，同时也会把这个connection添加到Reader线程的pendingConnections这个阻塞队列中等待Reader线程的run方法去take处理。
|
-------- Reader： doRead()方法里 -> readAndProcess方法。
header：hrpc； data长度等于一个确切的rpc的长度，从头里获取这个值。
count = channelR