HDFS Namenode接收RPC请求过程

最新推荐文章于 2023-07-05 08:09:34 发布
最新推荐文章于 2023-07-05 08:09:34 发布
阅读量2.2k 收藏 1
点赞数 1
文章标签： HDFS namenode RPC 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allecs/article/details/8778389
版权
Namenode作为HDFS的核心组件，其主要通过NameNodeRpcServer处理来自Datanode和Client的RPC请求。FSNamesystem负责元数据管理，而Namenode则关注IPC通信和配置。NameNodeRpcServer内部包含两个RPC.Server，用于分别处理Datanode和Client的交互。启动和运行过程中，ProtobufRpcEngine.RpcRequestWrapper扮演关键角色，负责读取参数。
摘要由CSDN通过智能技术生成
HDFS中所有控制消息通过RPC发送（数据消息直接使用Socket），所以让我们看看它的Under the hood.

对于Namenode，它的main函数位于org.apache.hadoop.hdfs.server.namenode.Namenode，而元数据的实际管理主要由FSNamesystem类完成，Namenode类则负责与外界的IPC通信以及一些配置工作。

Namenode有个NameNodeRpcServer的成员，专门负责处理RPC请求。在NameNodeRpcServer类中又有两个RPC.Server的成员变量，serviceRpcServer和clientRpcServer，分别接收来自Datanode和Client的请求。

源码中和RPC相关的类主要有几个：

org.apache.hadoop.ipc.Server：RPC服务在java.net和java.nio上的实现，封装了几个内部类如Call, Listener, Responder, Connection, Handler，具体见后文。
org.apache.hadoop.ipc.RPC: RPC服务的建立调用等，其中内部类Server继承了org.apache.hadoop.ipc.Server.
org.apache.hadoop.ipc.ProtobufRpcEngine和WritableRpcEngine分别是RPCEngine的protobuf和writable实现，继承了org.apache.hadoop.ipc.RPC.Server.


追踪一下clientRpcServer服务器的启动、运

最低0.47元/天 解锁文章
cloud_elephant
关注
【HDFS】一天一个RPC----blockReceivedAndDeleted（增量块汇报）
Badme
01-08 491
【HDFS】一天一个RPC----blockReceivedAndDeleted（增量块汇报）
Hadoop06：HDFS体系结构以及NameNode介绍
weixin_40612128的博客
03-02 3159
一、HDFS体系结构 前面我们掌握了HDFS的基本使用，下面我们来详细分析一下HDFS深层次的内容 HDFS支持主从结构，主节点称为 NameNode ，是因为主节点上运行的有NameNode进程，NameNode支持多个，目前我们的集群中只配置了一个 从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的集群中有两个 HDFS中还包含一个 SecondaryNameNode 进程，这个进程从字面意思上看像是第二个NameNode的意思，其实不是，
_00004 Hadoop NameNode源码浅析（RPC是基础）
妳那伊抹微笑的专栏
03-04 2181
# NameNode源码分析（RPC是基础） # 知道了RPC原理才能更好的理解NameNode # 进入NameNode的源代码找到main方法(由于NameNode是一个RPC的服务端，所以我们进入RPC的main方法，为了证明NameNode是一个RPC的服务端) public static void main(String argv[]) throws Exception {
一次Namenode的RPC延迟故障排查引发的深入思考
Meepoljd的博客
05-26 1600
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析 前言 12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的采集脚本，统计数据量用的，会执行du命令，这次故障感觉还是挺有意思的，记录一下。 正文 问题排查 初步定位 过程的截图并不是记得很全，能列多少列多少吧。12月1日晚上
NameNode RPC延迟问题排查思路
Alex_Sheng_Sea的博客
01-08 2927
前言 CDH 有个 NameNode RPC 延迟测试，用于检查NameNode响应请求所花费的平均时间的移动平均值不超过某个值。 此运行状况测试失败，可能表明 NameNode 配置错误，NameNode 写入其数据目录之一时遇到问题，或者可能表明容量规划问题。 检查 NameNodeRpcQueueTime_avg_time是否异常，如果耗费时间较长，这表明大部分RPC延迟都花在了请求排队上，请尝试增加 NameNode NameNode Handler Count，即dfs.namen...
HDFS Standby NameNode Read功能剖析
走在前往架构师的路上
02-06 1753
文章目录前言HDFS Standby Read的背景及功能要求Standby NameNode一致性读的控制实现原理分析代码分析流程分析图参考链接 前言 HDFS有着一套十分成熟的HA的机制来保证其服务的高可用性。在HA模式下，分别对应有Active和Standby NameNode的服务。Active NameNode用于提供对外数据服务，而Standby NameNode则负责做checkpoint的工作以及随时准备接替变成Active NameNode的角色，假设说当前Active NameNode
HDFS RBF模式RPC吞吐量瓶颈的优化探索
走在前往架构师的路上
08-08 1万+
文章目录前言RBF模式的RPC吞吐量问题原因猜想网络延时的影响Router本身服务处理的影响 前言 之前笔者介绍过HDFS的RBF方案来解决HDFS NameNode单点瓶颈的问题。目前也是有越来有多的公司采用RBF的方案来做HDFS集群的统一管理。笔者在最近一段时间也是在调研RBF的特性同时也是测测这里面还有没有一些没有被发现的问题。在此期间，我和同事小伙伴发现里面最大的一个问题：上了RBF后，RPC的上限吞吐量比之前直连NN时降了非常之多。之前直连NN测试时，我们可以压到30k+的水准，在RBF模式下
【HDFS】一个RPC的生命周期，从服务端接收到响应的各个阶段的统计指标
Badme
02-05 550
【HDFS】一个RPC的生命周期，从服务端接收到响应的各个阶段的统计指标
Hadoop NameNode之RPC Server（一）
海盗的小菜园
09-12 1955
RPC作为NameNode和外界交互的接口，在NameNode中占有很重要的位置，RCP Server中包含几个重要组件，他们之间是相互联系共同工作的，不能孤立观察其中一个线程，总的来说有四个主要线程Listener ReaderHandler Responser，对外提供服务时由Listener负责监听对外接口，Reader负责读入数据，Handler负责处理数据，也就是RPC调用，Respon
HDFS源码解析之验证NameNode是不是RPC的服务端(二)
百看不如一RUN
07-04 416
一、环境准备以及源码导入 通过我们上一个篇章的学习,我们已经可以简单的知道我们HDFS是如何远程通信的,那么我们接下来就可以进入阅读源码了 我们采用的是我们的场景驱动的方式所以我们接下来,只看NameNode的启动流程,这时我们应该从哪里入手呢,阅读源码我们需要找到程序的入口是吧,那么这个时候,NameNode的入口是什么呢,上一篇博客已经讲解了我们的Hadoop RPC 那么,我们是否还记得,在我们安装NameNode的时候肯定会使用JPS来看看我们的NameNode进程是否启动起来,这个时候我们是否
Hadoop NameNode之RPC Server（二）
海盗的小菜园
09-13 1100
下面讲Handler是如何处理Call请求的，简单的说就是利用动态代理做一次函数调用，将返回值发给Responser，然后由Responser发送给客户端，Handler的处理函数如下： public void run() { LOG.info(getName() + ": starting"); SERVER.set(Server.this); //分配
记录一次HDFS RPC返回Response过程慢导致的性能问题
热门推荐
走在前往架构师的路上
07-18 2万+
文章目录前言NameNode请求处理慢的场景RPC返回response的Handler处理慢问题HDFS RPC call异步response改造 前言 众所周知，在HDFS NameNode中，一直都有一个老生常谈的难题就是其扩展性的问题，而很多时候我们说HDFS的扩展性问题时我们很多时候都在谈的点在于里面全局锁的问题。一个很通常的场景是NameNode在高并发请求处理下存在着激烈的锁竞争，进而使得用户感觉到他们的请求被处理的有点慢。不过本文笔者不聊关于全局锁优化的问题，最近笔者遇到了另外一种NameN
NameNode详解
Z_Data的博客
11-08 9697
目录   1、NameNode的功能 2、 NameNode 启动过程 3、 NameNode元数据管理 4、 安全模式 1、NameNode的功能 负责客户端请求的响应 元数据的管理（查询，修改） 2、 NameNode 启动过程 NameNode启动的时候首先将fsimage（镜像）载入内存，并执行（replay）编辑日志editlog的的各项操作 ...
聊聊hdfs中的rpc问题
最新发布
luo981695830的博客
07-05 1659
hdfs中的rpc问题
Hadoop之RPC架构分析
meilong_whpu的专栏
11-02 1882
一.NameNode的RPC架构如下图： 二.下面以DataNode向NameNode注册的实例来说明RPC调用的流程    Hadoop的RPC主要是通过Java的动态代理（Dynamic Proxy）与反射（Reflect）实现，以在DataNode端创建与NameNode交互的RPC协议DatanodeProtocol为例，分析DataNode与NameNode交互的
Hadoop中的RPC
hncscwc的博客
02-22 2242
【概述】在hadoop中，客户端与namenode、datanode与namenode、dfsadmin与namenode、客户端与resourcemanager等模块之间的交互都采用rp...
采用rpc框架，模拟客户端查询namenode元数据
qq_32659773的博客
09-08 127
服务器： package com.dong.service.impl; public interface ClientProImpl { public static final long versionID=1L; public String getMetaData(String path); } package com.dong.service; ...
hdfs namenode -format过程详解
05-24
具体来说，hdfs namenode -format命令的执行过程如下： 1. 清空namenode节点的数据目录：该命令会删除namenode节点的数据目录，包括fsimage和edits文件，以确保文件系统处于干净的状态。 2. 创建新的fsimage和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值