@博乐
摘要:随着公司业务的不断发展,组件服务化是个必然趋势,那么服务之间如何高效通信?如何对其进行统一管理呢?使用统一的RPC框架是个不错的选择。虽然业内已经存在多套开源的RPC方案,但各有优劣,百分点科技结合自身的需求,也开发了一套RPC框架——HARPC,目前已经开源。
1. HARPC是什么
HARPC(High Availability RPC)是基于Thrift的跨语言、高可用的RPC框架。具备高性能、高可用、轻量级等特点,在百分点科技内部服务中广泛使用。
开源地址:https://github.com/baifendian/harpc
QQ交流群:398091913
2. 要解决的问题
2.1. 不同语言之间的通信问题
实际场景中服务端和客户端往往使用不同的编程语言,比如:客户端是java程序,服务端是C++程序,那么如何高效的通信?
2.2. 负载均衡和容灾处理
当服务并发越来越大,我们希望可以实现服务的水平扩展,那么新增的服务节点如何被自动发现?请求多个服务时,如何进行有效否的负载均衡?某个机器Down机或服务挂掉时,请求方如何快速发现?
2.3. 服务维护成本高
当服务越来越多时,原本简单的问题,也会变得越来越复杂,比如:你想知道某服务在哪台机器上?某服务正在被哪些服务调用?服务请求量和性能怎么样?
这些问题不仅仅是使维护成本大大的提高,更糟糕的情况是,出现问题或故障时,排查十分困难。
3. 业内方案
结合公司内部服务的需求,我们调研了业内主流的几个RPC解决方案,对比如下:
如上表所示,每种RPC方案都有各自的优缺点,都难以完全满足我们的需求。于是,我们研发了自己的RPC框架,即HARPC。
4. 设计思路
HARPC的核心思想是高可用,那么在保证高可用的基础上,还需要具备跨语言、高性能、可视化及轻量级等特性。于是,我们在设计之初就选择了基于thrift开发的方案,底层通信使用thrift来保证高性能和跨语言,然后HARPC来保证高可用和可视化,并且尽量保持简单,来达到轻量级的需求。
4.1. 整体结构
说明:
(1)四个部分:client(客户端)、server(服务端)、registry(注册中心,目前为zookeeper集群)、admin(服务管理系统)
(2)client和server又包括: your code(用户代码)、harpc(核心框架,包含Java、Python、C++三个版本)、thrift gen(thrift生成的源码文件,用于底层通信)
针对不同的使用场景,我们提供了两种方式,用户只需要通过配置来区分:
4.2. 注册中心方式(推荐)
这是推荐的方式,支持服务端自动注册、客户端服务自动发现的功能。
4.3. 直连方式
适用于第三方的thrift服务或没有集成HARPC的服务。
注意:该方式不支持自动发现新的服务节点。
5. 如何使用
HARPC目前支持使用Java、Python和C++三种开发语言,其他语言暂不支持。针对这三种语言,需要使用不同的集成方法,都非常简单,具体参考开源地址。
6. 可视化管理
6.1. 服务信息查看
- 展示出所有server和client
- 查找服务地址以及端口信息
6.2. 服务请求状态跟踪
- 查看服务请求量
- 查看服务性能
7. 测试结论
HARPC的Java、Python、C++版本的性能略有差别,由高到低为:C++版本 ≈ Java版本 > Python版本,下面仅给出Java版本的测试数据和结论。
7.1. Java版本容错性测试
从上述的测试结果来看,HARPC Java版本服务在各种异常情况下均能正常使用或恢复,具备高可用的特性。
7.2. Java版本性能测试情况
备注:服务端和客户端分别部署在两台内网服务器上。
从上述的测试数据来看,性能较高。
8. 总结
HARPC的开发是基于开源的Thrift,我们将HARPC开源也正是为了回馈开源社区。我们的下一步规划是进一步完善自身,在性能和扩展性上进一步提升。另外,我们将积极解决来自用户反馈的问题,欢迎大家使用!