近些年来,RDMA网卡的技术应用在全球以太网通讯市场上刮起一股旋风,特别是阿里、腾讯、浪潮、超微、联想等一些互联网巨头企业在服务器上大量部署RDMA网卡。2019年,据官方数据报道,天猫双11当天成交额达到2684亿元,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB,这个惊为天人的数值出现,再一次将RDMA网卡的应用推上话题的顶峰。
但是很多用户表示,看着这数据很牛逼,但是RDMA网卡到底在实际环境中是如何应用的,则是表示一头雾水。其实对于RDMA网卡的实际应用,并没有大家想象中的那么神秘,RDMA网卡的出现,实际上是为了解决服务器端数据处理延迟而产生的,也就是说,RDMA网卡诞生的使命,就是降低CPU负荷,提高网络吞吐量,降低网络延迟。
一、RDMA概念
RDMA(英文全称:Remote Direct Memory Access),意思是远程直接内存访问,这种技术是一种最早应用于高性能计算领域的网络通讯协议,目前已在数据中心逐渐普及。RDMA允许用户程序绕过操作系统内核(CPU),直接和网卡交互进行网络通信,从而提供高带宽和极小时延。所以RDMA网卡的工作原理是,与传统的TCP/CP网卡相比,RDMA网卡省略了内核(CPU)的参与,所有数据的传输直接从应用程序到达网卡。
第二、RDMA三种网络协议
目前,RDMA大体有Infiniband、RoCE、iWARP三种网络协议
- Infiniband是一种专为RDMA量身定做的网络协议,可以从硬件级别上保证数据传输的可靠性。虽然InfiniBand技术规格及标准规范在2000年正式发表,但InfiniBand Architecture(IBA)在集群式超级计算机上得到广泛应用的时间却是在2005年以后。发展缓慢的最大原因就是Infiniband要求从L2到L4到需要自己的专用硬件,企业成本非常高,现在做InfiniBand网络的厂商主要是Mellanox。
- RoCE是一个允许在以太网上执行RDMA的网络协议,可分为RoCE v1和RoCE v2,很多网友认为RoCE本身的架构是InfiniBand嫁接过来的,因为RoCE较低的网络标头是以太网标头,较高的网络标头是InfiniBand标头。是Mellanox(支持RoCE v1)为符合市场需求推出的低成本的InfiniBand网络。
RoCE网络要求有无损以太网才能实现低延迟运行,也这意味着集成到网络中的以太网交换机必须支持数据中心桥接(DCB)和优先流控制(PFC)机制,以此才能维持无损流量。但无损以太网的难点在于,在现代化的企业环境中配置是一个复杂的流程,并且可扩展性会受到很大的局限,不过这对于财力雄厚的企业来说不是问题。其次,RoCE对于机架服务器或者主机,则直接使用网卡就可以。 - iWARP 是一个允许在TCP上执行RDMA的网络协议,它的优点是能够运行在当今的标准TCP/IP网络中,只需要采购支持iWARP的网卡就可以采用RDMA,对于财务预算略低的小企业来说,尤为适用。但它的缺点就是在性能上略差于RoCE,毕竟一分价钱一分货,这个道理从古至今一直适用。
第三、RDMA网卡品牌如何选择
常言道,货比三家,对于RDMA网卡品牌选择的同样适用。纵观全球市场,现在做RDMA网卡的品牌厂商主要有三大巨头企业,分别是Marvell、intel、Mellanox,其中Marvell是收购的Qlogic品牌,Mellanox被英伟达收购。
话说回来,在RDMA网卡上我们如何选择品牌厂商?首先我们知道Mellanox的Infiniband网络是RDMA网卡性能最好的代表,可以从硬件传输上保证可靠性,但要求整个生态环境必须配备专用的硬件,虽然现在已经发布支持以太网的RDMA网卡,但是这种RDMA网卡只支持RoCE v1,这就要求交换机上必须满足优先流控制(PFC)机制,成本昂贵,就这一项,已将绝大多数数据中心企业排除在门外。
剩下的就只有RoCE v2和iWARP,Intel是美国一家主要做CPU处理的公司,在800系列的以太网控制器上已支持RDMA性能(RoCE v2和iWARP协议),RoCE v2是RoCE v1的升级版,最大的改进是支持IP路由,其中iWARP协议最大的特点是可以在任意IP网络上运行,不再局限相关硬件配套设备的兼容性,从这一点上来看,Intel 公司和Mellanox公司相比,Intel的RDMA网卡更具有生态兼容性以及性价比性。
Marvell我们前面讲过,他是收购的Qlogic品牌,Qlogic品牌在光纤通道市场拥有绝对的话语权,全球众多企业客户都采用QLogic的方案,在RDMA上,Qlogic和Intel一样做到做到对RoCE和iWARP不存在任何偏见,客户能够在同一个适配器上同时使用RoCE和iWARP协议,只是目前Marvell公司对外发布声明,明年以太网网络控制器将停产,这是一个非常遗憾的消息。
第四、国内自主研发RDMA网卡厂商
除上述三大巨头企业外,国内仍有很多具有雄厚自主研发能力的RDMA网卡厂商,比如说深圳市联瑞电子有限公司。2019年,深圳市联瑞电子有限公司(以下简称:LR-LINK联瑞)与Marvell达成战略合作关系,凭借Qlogic在光纤通道的强大实力,打造专供于服务器领域的RDMA网卡。主要推出的有双口/四口万兆网卡(型号:LRES1004PF-2SFP+,LRES1005PF-4SFP+),25G服务器网卡、万兆和25G OCP 3.0网卡等,由于Marvell以太网网络控制器明年将停产,所以目前LR-LINK联瑞现存的Marvell网卡(RDMA功能)更多供老客户订购。
除此之外,2020年6月以后,LR-LINK联瑞开始逐步自主研发基于Intel 800系列的以太网卡适配器,目前已正常销售的成品有100G双光口服务器网卡,100G单光口服务器网卡,25G双光口服务器网卡;目前在研年底上市的有25G四光口服务器网卡,25G双光口OCP3.0网卡和100G双光口OCP 3.0网卡等,在性能上均具有低延迟,高网络吞吐量,节约CPU开销等优异特性,支持RDMA功能。
未来,伴随企业领域对数据中心数据处理需求的高速飞涨,LR-LINK将持续发挥行业优势,创新研发更多具备高性能、高吞吐量、低延迟等特性网卡,始终致力为全球客户提供卓越性能的专业网卡解决方案。