hadoop源码研读之路（六）----RPC的Client端和Server端

最新推荐文章于 2023-05-13 21:52:33 发布
最新推荐文章于 2023-05-13 21:52:33 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a15039096218/article/details/7764031
版权
本文详细探讨了Hadoop RPC机制，包括RPC Client如何发起RPC调用，建立并维护到RPC Server的连接，以及RPC Server如何接收和处理调用请求。在Client端，每个Call通过反射转化为调用，利用连接池发送序列化参数，并等待响应。而在Server端，Listener接收连接请求，将数据封装为Call放入队列，Handler异步非阻塞地处理Call并返回响应。
摘要由CSDN通过智能技术生成

既然是RPC，就一定有Client端和Server端，

如果进行一次HDFS的读写，其中一个DataNode需要跟NameNode建立连接，也需要和其他的DataNode建立连接，那么每一个Client需要维护多个连接。同时为了减少不必要的连接，Client的做法是拿Connectionid来作为Connection的ID。


RPC Client的结构

Client.ConnectionId:到RPC Server对象连接的标识（IP地址+端口号或者主机名+端口号）

Client.Call：Call调用的信息。

Client.ParallelResults:Call响应

RPC.Invoker:对InvocationHandler的实现，提供inovke方法，实现RPC.Client对RPC.Server对象的调用。

RPC.Invocation:用来序列化和反序列化RPC.Client的调用信息（主要跟前面讲的动态代理和Java反射机制有关）


RPC Client主要流程

每一个Call都是由RPC.Client发起的

1.RPC Client 发起RPC Call.通过Java反射机制转化为对Client.call调用

2.调用getConnection得到与RPC Server的连接，每一个RPC Client 都维护一个HashMap结构的到RPC Server的连接池

3.通过Connection将序列化后的参数发送到RPC服务器端

4.阻塞方式等待RPC服务端返回响应


在IPC下面，Server类是个抽象类，唯一抽象的地方是：


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  第九滴眼泪
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Go语言标准库学习之net/rpc——Server/Client之间通信的秘密

				
			

			

				

					random_w的博客
				

				

					07-15
					
					1808
					
				

			

		

		

			
				
RPC（Remote Procedure Call）远程过程调用，它可以使一台主机上的进程调用另一台主机的进程，由以访为其他若干个主机提供服务，也就是我们常说的C/S服务，Server与Client之间通过rpc方式进行通信。下面向大叫刨析以下net/rpc标准库，希望对你有帮助。

一、Server和Client
1. server
（1）Server对象
在Server对象中定义了互斥锁用来保护请求数据，另外还包含请求信息和返回的信息以及注册的服务。
// Server represents an R.

			
		

	



                

              
                



	

		

			

				
					
【UE 网络】RPC远程过程调用 入门篇

					
最新发布

				
			

			

				

					hhw_hhw的博客
				

				

					06-29
					
					959
					
				

			

		

		

			
				
RPC （远程过程调用）是在本地调用但在其他机器（不同于执行调用的机器）上远程执行的函数。RPC 函数非常有用，可允许客户端或服务器通过网络连接相互发送消息。这些功能的主要作用是执行那些不可靠的暂时性/修饰性游戏事件。这其中包括播放声音、生成粒子或产生其他临时效果 之类的事件，它们对于 Actor 的正常运作并不重要。在此之前，这些类型的事件往往要通过 Actor 属性进行复制。

			
		

	



                


  
              

                


	

		

			

				
					
golang关于rpc的五对基础client和server的例子

				
			

			

				

					huangfengnt的博客
				

				

					11-24
					
					677
					
				

			

		

		

			
				
五个对应的rpc的简单的客户端和服务器端，分别涉及到tcp链接、tcp链接封装、jsonrpc、httprpc和json+http+rpc，其实也就是基础学习的五个过程

			
		

	





	

		

			

				
					
RPC Server and Client

				
			

			

				

					weixin_34417814的博客
				

				

					01-28
					
					174
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	



		

			
		



	

		

			

				
					
编译hadoophadoop-3.2.2-src源码

				
			

			

				

					03-30
				

			

		

		

			
				
编译hadoophadoop-3.2.2-src的源码

			
		

	





	

		

			

				
					
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

				
			

			

				

					01-08
				

			

		

		

			
				
这个压缩包“hadoop-common-2.2.0-bin-master”是Hadoop 2.2.0版本的公共库二进制版本，包含了在Windows平台上开发和运行Hadoop所需的一些关键工具，特别是对于开发者来说非常重要的`winutils.exe`。  `winutils.exe...

			
		

	





	

		

			

				
					
hadoop-eclipse-plugin-2.6.0.jar程序文件

				
			

			

				

					12-20
				

			

		

		

			
				
It takes me two days to find the root cause for the exceptions and finally generate this jar file for hadoop 2.6.0.  1.use hadoop 2.6.0. 2.change the hadoop_home and path to point to hadoop 2.6.0 3....

			
		

	





	

		

			

				
					
编译Hadoop源码包解决container-executor.cfg文件及其各级父路径问题

				
			

			

				

					程序猿丶HLK
				

				

					02-28
					
					1945
					
				

			

		

		

			
				
一、编译hadoop2.7.6背景

在ZOOKEEPER、HDFS、YARN、HBASE配置Kerberos认证博客中，关于YARN配置Kerberos认证时，产生了hadoop-2.7.6/etc/hadoop must be owned by root,but is owned by 1000错误



2019-02-28 14:43:21,600 INFO org.apache.hado...

			
		

	





	

		

			

				
					
Nacos2.0.3源码解析（三）RPC客户端、服务端原理

				
			

			

				

					weixin_42937773的博客
				

				

					05-13
					
					1919
					
				

			

		

		

			
				
如果创建成功，则会构建请求对象注册到rpc服务端的connectionManager中（如果不符合服务端的一些规则注册失败，则服务端会给客户端发送重连的请求，并且拒绝该客户端的请求，之后的讲到服务端再具体分析），之后会返回连接对象。这张图我列举了几个主要属性，由上图可见，RPC服务端和客户端结构类似，目前只有一种GRPC，而GRPC服务端又有两种具体的实现，一种是GrpcSdkServer和GrpcClusterServer，下面看一下他们的抽象类BaseRpcServer。

			
		

	





	

		

			

				
					
大型多人在线游戏服务器架构设计 - RPC封装原理

				
			

			

				

					王广帅--游戏开发技术
				

				

					09-22
					
					9341
					
				

			

		

		

			
				
RPC框架分为客户端部分与服务端部分：



RPC-client的部分又分为：
（1）序列化反序列化的部分（上图中的1、4）
（2）发送字节流与接收字节流的部分（上图中的2、3）
前一篇文章讨论了序列化与范序列化的细节，这一篇文章将讨论发送字节流与接收字节流的部分。

客户端调用又分为同步调用与异步调用
同步调用的代码片段为：
Result = Add(Obj1, Obj2

			
		

	





	

		

			

				
					
RPC client之OpenFeign

				
			

			

				

					技术进步那些的事
				

				

					09-18
					
					1649
					
				

			

		

		

			
				
本文我们一起看看SpringCloud中的OpenFeign组件，探讨下其整体结构和带给我的启发。内容涵盖启用Feign，创建代理对象，到最终响应处理的整个过程。以上就是今天要讲的内容，本文介绍了OpenFeign在SpringBoot环境下如何启用@FeignClient注解，对应的BeanDefinition是如何注册的，BeanInstance是如何生成的，并简单分析了基于Feign的RPC调用过程。从内容上来看，基本覆盖了FeignClient的骨架内容。

			
		

	





	

		

			

				
					
ActiveJ学习 RPC（2）——RpcClient

				
			

			

				

					weixin_46472706的博客
				

				

					11-18
					
					700
					
				

			

		

		

			
				
2021SC@SDUSC



			
		

	





	

		

			

				
					
RPC讲解

				
			

			

				

					技术，无止境
				

				

					11-25
					
					2004
					
				

			

		

		

			
				
RPC是什么

RPC是远程过程调用协议，它是一种网络从远程计算机程序上请求服务，而不需要了解地城网络技术的协议。简单说，REP使程序能够像访问本地系统资源一样，去访问远端系统资源。比较关键的一些方面包括：通讯协议、序列化、资源（接口）描述、服务框架、性能、语言支持等。

    简单的说，RPC就是从一台机器（客户端）上通过参数传递的方式调用另外一台机器（服务端）上的一个函数或方法并得到返回的结果。

			
		

	





	

		

			

				
					
HDFS知识点梳理

				
			

			

				

					weixin_45937224的博客
				

				

					05-22
					
					1289
					
				

			

		

		

			
				
一、定义

hdfs是hadoop生态中用来存取海量大数据的分布式的文件存储系统,通过目录树来定位文件.

二、适用场景

适合一次写入，多次读出的场景，不支持修改，但是支持append操作。适合大数据分析工作，但是步骤繁琐，不适合用来当网盘使用，且不适用于小文件过多的场景☆

三、优缺点

优点：1.高容错，2.适合大数据，3.可构建于廉价机器

缺点：1.不适用于低延迟的场景（毫秒级），2.无法高效的对小文件进行操作，3.只支持写入，不支持修改，但是支持追加。

四、hdfs中client的作用

1.

			
		

	





	

		

			

				
					
RPC（RPCServiceClient）方式调用webservice SOAP调用

					
热门推荐

				
			

			

				

					xuforeverlove的博客
				

				

					07-03
					
					1万+
					
				

			

		

		

			
				

/**
 * 应用rpc的方式调用 这种方式就等于远程调用，
 * 即通过url定位告诉远程服务器，告知方法名称，参数等， 调用远程服务，得到结果。
 * 使用 org.apache.axis2.rpc.client.RPCServiceClient类调用WebService
 *
 【注】：

 如果被调用的WebService方法有返回值 应使用 invokeBlocking 方法 该方法有...

			
		

	





	

		

			

				
					
rpc-client端连接池实现

				
			

			

				

					weixin_30781775的博客
				

				

					02-17
					
					369
					
				

			

		

		

			
				
（一）功能
使用已存在的连接与rpc-server端通信，发送请求

连接复用
并发请求

（二）设计思路
对每个要通信的server端维持一个连接池，存放已经建立的连接，需要与server通信时直接从连接池取连接，不用重新创建

动态连接池

连接池中连接的数量是动态变化的，如果上一时刻请求多，现在请求少，则连接池中可用连接多；相反，如果上一时刻请求少，现在请求多...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值