【HDFS】关于Hadoop的IPC.Client类的一些整理

于 2024-06-28 17:56:34 发布
阅读量160 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/140000467
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏

org.apache.hadoop.ipc.Client 类是IPC服务的一个客户端。
IPC请求把一个Writable对象当做参数，返回一个Writable对象当做结果value。
一个IPC服务运行在某个端口上，并且由参数class和value class定义。

Router里的IPC.Client对象就两个

有这样一个类：ClientCache
看名字就知道，它作用是缓存Client对象。
ClientCache类有一个HashMap的成员变量：clients。
Key是SocketFactory，Value就是Client对象。

  private Map<SocketFactory, Client> clients =
    new HashMap<
了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hadoop ipc.Client
WutongDeath
01-26 981
Hadoop IPC分析 (基于v0.1.0) Client类逻辑上为单例，仅可能由RPC.getProxy()或RPC.call()创建。 使用方法如下，Client被封装在getProxy()方法内部，对业务透明。 XXXProtocol xxx = (XXXProtocol) RPC.getProxy(XXXProtocol.class, new InetSock
Hadoop系列－IPC模型
zhangyu8374
06-02 162
IPC 实现RPC的一种方法，具有快速、简单的特点。 它不像Sun公司提供的标准RPC包，基于Java序列化。 IPC无需创建网络stubs和skeletons。 IPC中的方法调用要求参数和返回值的数据类型必须是Java的基本类型，String和Writable接口的实现类，以及元素为以上类型的数组。接口方法应该只抛出IOException异常。 使用模型 采用客户/服务器模型 Serve...
[翻译]Using Hadoop IPC/RPC for distributed applications
09-06 793
在分布式应用程序中使用Hadoop IPC/RPC 原文地址：http://www.supermind.org/blog/520/using-hadoop-ipcrpc-for-distributed-applications 本文来自于：http://gpcuster.cnblogs.com   译文： 关于Hadoop IPC 我们一起来了解Hadoop IPC，这是一个
[hadoop源码阅读][6]-org.apache.hadoop.ipc-ipc.client
weixin_34221112的博客
06-21 110
1.client运行的流程 1）创建代理对象； 2）代理对象调用相应方法（invoke()）； 3）invoke调用client对象的call方法，向服务器发送请求（参数、方法）； 4）再等待call方法的完成； 5）返回请求结果。   2.client主要的内部类 主要的几个类说明：  1. Call，表示一次rpc的调用请求2. Connection，表示一...
Hadoop建立IPC连接和数据读写
weixin_33894992的博客
12-23 169
建立IPC连接   IPC Client通过调用getConnection获取IPC连接，具体流程图如下： 服务器端的IPC连接代码分散在Listener和Server.Connection中。 Listener.run() 实现了NIO中的选择器循环。如下代码： //Listener构造函数 public Listener() throws IOException { ...
【Spark】六、org.apache.hadoop.security.AccessControlException
01-09
Exception in thread main org.apache.hadoop.security.AccessControlException: Permission ...Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission
Hadoop client server通讯分析
04-02
在Hadoop中，客户端（Client）负责提交任务、读写数据，而服务器端则包括NameNode、DataNode和TaskTracker等组件，它们处理客户端请求，管理数据存储和任务调度。 二、HDFS通信 1. 客户端与NameNode交互： 当...
hadoop源代码code归档整理
11-09
主要关注`org.apache.hadoop.yarn`包，如`org.apache.hadoop.yarn.server.resourcemanager`和`org.apache.hadoop.yarn.client.api`。 5. 容错机制：Hadoop的容错机制是其稳定运行的重要保障。通过查看`org.apache....
Hadoop源码分析 完整版 共55章
07-26
- **HDFS组成部分**：HDFS由NameNode、DataNode和Client组成，分别负责元数据管理、数据块存储以及客户端请求处理。 #### 五、深入分析MapReduce - **MapReduce章节**：MapReduce部分共14章，这部分将详细介绍...
Hadoop学习笔记之一：Hadoop IPC
08-12 146
因为某些原因需要把前一段时间对Hadoop（版本基于0.20.2）的学习积累搬到这里，成为一个系列。写得会很简单，只为必要时给自己提醒。 IPC框架 所有Hadoop协议接口的实现都依赖Hadoop IPC； Hadoop IPC的目标是通过RPC完成调用者（RPC::Invoker）对被调用者（RPC::Server）的方法调用，核心是对调用（即RPC::Invocation...
hadoop ipc
konstantin的博客
01-01 259
hadoop虽然没有使用javaRMI，但是也类似，使用的是家IPC，使用IPCFIleStatus作为getFIleStatus()作为getFileStatus方法的返回结果； IPCQueryStatusImpl实现了接口中定义的功能，IPCQueryServer利用RMIQueryStatusImpl的实例，构造运行IPC服务器，IPCQueryStatusClient作为客户端，使用I
hadoop3.0.0 源码阅读之一:IPC Client部分
cnh294141800的专栏
10-12 1179
之前一直在看Hadoop源代码，接下来打算好好的总结一下，先占一个坑，先把之前注释的代码发出来。如有不对，请大家指正。 在Hadoop中，不同节点间使用RPC机制进行通信，但是它并没有使用RMI，而是自己实现了一套RPC（没用用java本身自带的序列化）, 这个RPC大体来说分为两个部分，一个是Client端，一个是Server端。　底层数据的传输是用google的protobuf。 RP
Hadoop的前世今生（2）——ipc的Client(1)
fengchao_ict的专栏
05-01 384
今天的任务是解决Client类，它在源码的ipc包下，作为分布式C-S结构的C。本文的前提是你要了解C的功能。本文使用的源码是hadoop-0.10.1。start! 在它的里面包括5个子类，分别是： Call: Connection: ParallelCall: ParallelResult: ConnectionCuller: 下面我们依次分析这五个类的内容： Call
Hadoop的前世今生（3）——ipc中的Client（2）
fengchao_ict的专栏
05-01 315
接上一回，接下来我们分析ConnectionCuller类，再上一回我接触了一下这个类，它的任务是回收Connection的： ConnectionCuller 这个类的内容显然少得可怜，这里直接贴出它唯一的一个方法： public void run() { while (running) { try { Thread.sleep(MIN_SLEEP_TIME
Hadoop IPC解析
weixin_34258838的博客
05-02 106
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop源码分析之IPC机制
东方吹雪的专栏
12-19 4672
IPC Java动态代理 JavaNIO Hadoop IPC接口必须继承自org.apache.hadoop.ipc.VersionedProtocol接口 Reference 《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》
Hadoop源码分析之IPC服务端连接建立与方法调用
东方吹雪的专栏
12-30 2506
在前面两篇文章中分析了IPC中Server端的初始化与启动和 客户端IPC连接与方法调用下面来分析服务器当客户端进行方法调用时，将数据发送给服务器后，服务器的处理过程。服务器处理过程涉及的了多个线程与类，正式服务器端的各个部分的合作，才使得IPC机制简单且高效。 连接建立 在org.apache.hadoop.ipc.Client.Connection.setupConnection()方法中
at org.apache.hadoop.ipc.Client.call(Client.java:1476) at org.apache.hadoop.ipc.Client.call(Client.java:1413) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229) at com.sun.proxy.$Proxy29.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:563) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) at com.sun.proxy.$Proxy30.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3014) at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2984) at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1047) at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1043) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1043) at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1036) at org.apache.hadoop.hive.ql.session.SessionState.createPath(SessionState.java:751) at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:674) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:586)
最新发布
07-16
这个错误是由Hadoop和Hive之间的通信问题引起的。它表明在执行Hive命令时，Hive无法与Hadoop的文件系统进行通信。 要解决这个问题，您可以尝试以下几个步骤： 1. 检查Hadoop集群的健康状态，确保HDFS正常运行，并且没有任何错误或故障。 2. 检查Hadoop和Hive配置文件，确保它们正确地指向正确的Hadoop集群。 3. 检查Hive配置文件hive-site.xml，确保以下属性设置正确： - `javax.jdo.option.ConnectionURL`：指向正确的数据库连接URL。 - `javax.jdo.option.ConnectionDriverName`：指定正确的数据库驱动程序。 - `javax.jdo.option.ConnectionUserName`和`javax.jdo.option.ConnectionPassword`：指定正确的数据库用户名和密码。 4. 检查Hadoop和Hive日志文件，尤其是在发生错误的时间范围内的日志文件，查找任何与通信问题相关的错误消息或异常栈跟踪。 如果以上步骤都没有解决问题，您可能需要更详细地检查您的环境和配置，或者尝试重新安装和配置Hadoop和Hive。您还可以在Hadoop和Hive社区中寻求帮助，以获取更具体的支持和指导。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值