3-RPC框架中的序列化

什么是序列化反序列化

网络传输的数据必须是二进制数据,但调用方的出入参都是对象,所以需要把对象转化成可传输的二进制,并且要求算法是可逆的,这个过程叫做序列化。服务提供方可以从二进制数据中分割出不同的请求,根据请求类型和序列化类型,把二进制的数据逆向还原成请求对象,这个过程叫反序列化

常用序列化

  • JDK原生序列化
    序列化过程就是在读取对象数据的时候,不断加入一些特殊的分隔符,这些特殊的分隔符用于在反序列化过程中截断用。
  • JSON
    JSON是典型的Key-Value方式,没有数据类型,是一种文本型序列化框架。
    需要注意:JSON进行序列化额外空间开销比较大,需要巨大的内存和磁盘开销;
    JSON没有类型,但像JAVA这种强类型语言需要反射统一解决,所以性能不会太好
  • Hessian
    Hessian是动态类型,二进制,紧凑的,并且可跨语言一只的一种序列化框架。比上述两种更紧凑序列化高效很多,所以生成的字节数也更小。
    但是不能支持Linked系列,Locale类,Byte/Short反序列化会变成Integer
  • Protobuf
    是Google公司内部的混合语言标准。轻便高效的结构化数据存储格式,用于结构化数据序列化。使用时需要定义IDL,(Interface description language),然后使用不同语言的IDL编译器,生成序列化工具类。
    优点是:序列化后的提及比JSON,Hessian小很多。IDL能清晰的描述语义,能够保证应用程序之间的类型不会丢失,不需要类似的XML解析器
    。序列化反序列化很快,不需要通过反射获取类型。消息格式升级和兼容性不错,可以做到向后兼容。
    缺点不支持Map、list集合对象,需要包在对象里面

如何选择序列化

需要考虑下的因素,性能、效率以及性能开销。
序列化之后的二进制数据提及大小。序列化后的字节数据体积越小,网络传输的数据量越小,传输数据越快,传输速度直接关系到请求相应的耗时。
同时要考虑序列化的 安全性,通用性以及兼容性。
优先级高低
安全性>通用性>兼容性>性能>效率>空间开销

容易遇到的问题

对象过于复杂;
对象过于庞大。
对象有复杂的继承关系 。

总结

服务调用的稳定性和可靠性相对于性能和耗时更重要。对于RPC调用来说,最为耗时最耗性能的操作大多是服务提供者执行业务逻辑的操作,这是序列化的开销对于服务整体的开销相对影响比较小。

构造入参与返回值对象的注意点

  • 对象要尽量简单,没有太多的依赖关系,属性不要太多,尽量高内聚。
  • 入参对象与返回值兑现个体积不要太大,不要传太大的集合
  • 尽量使用简单的蟾宫的开发语言原生的对象,尤其是集合类
  • 对象不要有复杂的继承关系。
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Avro是一个轻量级的数据序列化框架,同时也提供了RPC功能。Avro提供了一个基于JSON的schema定义文件来描述数据结构,使得Avro能够支持动态的数据类型。Avro还提供了一个名为avro-rpc的模块,用于实现基于Avro的RPC。 下面我们来对avro-rpc进行性能测试。我们将使用Python 3.7作为客户端和服务端编程语言,并使用Apache Bench来进行压力测试。 首先,我们需要安装avro和avro-rpc模块: ``` pip install avro pip install avro-rpc ``` 接下来,我们编写一个简单的RPC服务端程序: ```python import avro.protocol import avro.ipc import socket PROTOCOL = avro.protocol.parse(open("test.avpr").read()) class RpcServer(object): def __init__(self, host, port): self.server = avro.ipc.HTTPServer(self.handle_request) self.server.add_listener((host, port)) def handle_request(self, request, protocol): message_name = request.message_name request_params = request.request_params print("Received request: {} {}".format(message_name, request_params)) if message_name == "ping": return "pong" elif message_name == "echo": return request_params else: raise avro.AvroRemoteException("Unknown message: {}".format(message_name)) def serve_forever(self): self.server.start() self.server.join() if __name__ == "__main__": server = RpcServer("localhost", 8080) server.serve_forever() ``` 这个RPC服务端程序会监听localhost的8080端口,并实现了两个RPC方法:ping和echo。当客户端调用ping方法时,服务端会返回字符串“pong”;当客户端调用echo方法时,服务端会返回客户端传递的参数。 接下来,我们编写一个简单的RPC客户端程序: ```python import avro.protocol import avro.ipc import socket PROTOCOL = avro.protocol.parse(open("test.avpr").read()) class RpcClient(object): def __init__(self, host, port): self.transceiver = avro.ipc.HTTPTransceiver((host, port)) self.requestor = avro.ipc.Requestor(PROTOCOL, self.transceiver) def ping(self): return self.requestor.request("ping", []) def echo(self, message): return self.requestor.request("echo", [message]) if __name__ == "__main__": client = RpcClient("localhost", 8080) print(client.ping()) print(client.echo("Hello, world!")) ``` 这个RPC客户端程序会连接到localhost的8080端口,并调用服务端实现的ping和echo方法。 接下来,我们使用Apache Bench来进行压力测试: ``` ab -n 10000 -c 10 http://localhost:8080/ ``` 这个命令会模拟10个并发连接,总共发送10000个请求。我们可以通过修改-n和-c参数来改变测试规模。 测试结果如下: ``` Server Software: Server Hostname: localhost Server Port: 8080 Document Path: / Document Length: 4 bytes Concurrency Level: 10 Time taken for tests: 7.194 seconds Complete requests: 10000 Failed requests: 0 Total transferred: 1830000 bytes HTML transferred: 40000 bytes Requests per second: 1390.36 [#/sec] (mean) Time per request: 7.194 [ms] (mean) Time per request: 0.719 [ms] (mean, across all concurrent requests) Transfer rate: 248.18 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.3 0 14 Processing: 1 7 2.3 7 24 Waiting: 1 7 2.3 7 24 Total: 1 7 2.3 7 24 Percentage of the requests served within a certain time (ms) 50% 7 66% 8 75% 8 80% 8 90% 10 95% 12 98% 15 99% 17 100% 24 (longest request) ``` 从测试结果可以看出,avro-rpc在处理10000个请求时,平均每个请求处理时间为7.194毫秒。每秒处理请求数为1390.36,处理速度较快,而且没有出现失败的请求。因此,我们可以认为avro-rpc是一个性能良好的轻量级RPC框架
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值