算力网络通信新基件,打造数字信息传输高速公路!

目录

一、“东数西算”对算力网络高效传输提出新要求

二、面向算力网络的高性能传输框架

三、百万QPS助力业务上云

四、与传统远程调用库相比具备哪些优势

1. 全链路零拷贝

2. 异构硬件互访互通

3. 可插拔多协议设计

4. 筑基算力网络支持国产化硬件


一、“东数西算”对算力网络高效传输提出新要求

自2021年11月《中国移动算力网络白皮书》发布以来,中国移动高度重视算网融合的发展,并将算力网络建设落实成为“东数西算”工程部署的重要支撑。《白皮书》提出“超低时延驱动的确定性网络成为产业数字化刚需”。作为新一代算力网络基建的“血管”,一款高性能、低时延的远程调用传输框架呼之欲出。

二、面向算力网络的高性能传输框架

ERPC是一款自主研发的RPC远程调用框架。相比较于同领域知名的框架(例如Apache Brpc),ERPC针对高性能存储以及算力网络场景设计了高效的IO线程模型。并即将搭载于移动云“高性能极速云硬盘” 的最新版本完成上云。未来ERPC将进一步演进成为移动云算力网络传输的新基件。

三、百万QPS助力业务上云

ERPC围绕算力网络/高性能存储需求进行设计。“高性能极速云硬盘”项目在技术路线选型期采用不同RPC框架下发读写进行了性能基线测试。在测试中相较开源Apache Brpc,ERPC在时延、QPS等方面有着指数级的提升。

时延数据(us)

QPS数据

ERPC专注于分治处理无长尾的RPC请求,其采用的Run To Complete通信模型在专用线程中处理数据的收发,从而避免了线程切换与CPU多核同步的开销,有效满足了核心业务上云的需求。

算力和网络的发展日益呈现一体共生趋势。网络从过去连接算力,逐渐演进为感知算力、承载算力,实现网在算中、算在网中,将推动超低时延类新型业务的创新突破。目前,ERPC在移动云“高性能极速云硬盘”低时延数据传输、OpenStack Cinder收发GRPC消息等场景均已有成熟落地应用。

反映到未来更广阔的算力网络应用场景上。采用ERPC框架作为算力网络组件,单位时间内可以分发并处理百万级远端调用请求。服务端在峰值QPS压力下仍然可以确保客户端时延保持在百微秒范围内。能够有效支撑车联网、无人机及智能制造、实时日志分析等时延敏感型以及AI训练、基因测序等高吞吐型业务场景。

四、与传统远程调用库相比具备哪些优势

1. 全链路零拷贝

ERPC全面支持RDMA零拷贝传输协议。在RDMA网络环境下,基于ERPC开发的“高性能极速云硬盘”完成了小于30us延迟的网络请求收发,较原有采用TCP/IP的方案有了指数级提升。

2. 异构硬件互访互通

大规模算力网络集群通信场景下,支持集群内异构服务器网卡互访互通是亟需解决的重要问题。ERPC目前已经完成与主流厂商(Mellanox,Intel)的RDMA网卡硬件设备适配,使得异构硬件通信不再是“天堑”而是“通途”。

3. 可插拔多协议设计

ERPC在设计之初就考虑到了后期动态增删对于协议支持的情况,故设计了与消息传输解耦的协议解析框架。当前,除了ERPC自带的Protobuf/ERPC私有协议之外,ERPC 1.0版本还添加了通用协议GRPC/HTTP2的支持。与原生的GRPC服务端功能高度对齐,实现与GRPC开源客户端(Python/Go客户端)无缝对接,零改造成本。

4. 筑基算力网络支持国产化硬件

算力网络是响应国家战略、顺应产业发展和推动公司转型的必然要求。随着国际形势的发展以及信息安全问题的日益突出,信息安全已上升至国家战略层面。自主可控、国产化替代已成为大势所趋,势在必行。

ERPC可以完全兼容国产化ARM服务器硬件与操作系统,为基于ERPC开发的云上系统进一步安全可控提供了保障。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值