RoCE组网方案实测报告（数据库一体机场景）

RoCE网络在数据库一体机场景中崭露头角，IB网络逐渐失宠

数据库一体机是一个集成了硬件和软件的设备，专门为数据库场景设计。

以下是数据库一体机的主要优势：

• 简化部署：由于硬件和软件都已经预先集成在一体机中，部署过程变得更加简单快捷。一体机通常会包括预安装的操作系统、数据库软件，以及存储和网络的软硬件。
• 优化性能：数据库一体机的硬件和软件都针对数据库管理进行了优化，组件之间的高度集成，让一体机可以实现更高的吞吐、更低的响应时延。
• 降低维护成本：数据库一体机的硬件和软件都经过了严格的测试和验证，确保各种场景下的稳定性，降低了故障发生的可能性，从而减少了维护成本。另外，还会提供统一的管理界面，使管理和维护变得更加简便。

过去，数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境。然而，InfiniBand网络的部署和维护成本高昂，需要专门的硬件和管理技能。现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维。

CX-N系列云交换机可谓是这个场景下所寻找的“梦中情机”，可以帮助用户构建不同规模、灵活、可靠、高品质的低时延RoCE网络，为数据库一体机业务提供卓越的网络服务。

组网方案

1、硬件信息

硬件项目	描述	数量
计算节点	Dell PowerEdge R7525 CPU：2 x 18Cores 内存：8 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE	2台
存储节点	H3C UniServer R4900 G3 CPU：2 x 12Cores 内存：4 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE 数据盘：4 x 3.84TB NVMe SSD	3台
管理节点	Linux 虚拟机	1台
交换机	Asterfusion CX532P-N（32 * 100GE）	2台

2、组网拓扑

测试用例

1、RoCE组网与功能测试

RoCE组网测试

前提条件	1. 软硬件环境已准备完成
测试步骤	1. 业务网段1内RDMA流量互通 2. 业务网段2内RDMA流量互通 3. 两个网段跨网段RDMA流量互通 4. 管理网段流量互通
测试结果	所有测试均通过

数据库一体机功能测试

前提条件	RoCE组网已完成
测试步骤	通过数据库一体机管理平台完成如下步骤： 1. 配置管理计算和存储节点 2. 创建存储资源 3. 给计算节点分配存储 4. 创建Oracle RAC数据库
测试结果	数据库创建成功，数据库实例运行正常

2、存储性能测试

前提条件	卷已映射至计算节点
测试步骤	通过FIO工具测试存储性能
测试结果	使用FIO完成存储性能测试，性能达到预期

存储性能测试结果

测试项	带宽（MB/s）	IOPS（万）	延迟（毫秒）	IO深度	单卷JOB数
8k随机读	14271	182.7	0.4	8	2
1M顺序读	17767	17.7	/	/	/

3、高可用测试

前提条件	卷已映射至计算节点
测试步骤	1. 使用FIO对计算节点上挂载的存储卷进行压测 2. 拔掉任意节点上其中一个网口的线缆 3. 拔掉交换机互联链路的任意一根线缆 4. 重启一台交换机 5. 断电一台交换机
测试结果	分别进行2～5步骤操作，IO恢复的时间不超过10s，高可用测试通过。

测试结论

本次测试完成了组网方案的可用性测试、存储性能测试，以及高可用测试，经过多场景验证，结论如下：

• 数据库一体机通过使用星融元CX532P-N超低时延云交换机，成功实现了从IB组网方案向RoCE方案的切换
• 同样的配置下，性能与IB媲美 ，实测存储性能为IOPS：8K随机读189万，带宽：18GB/s
• 数据库一体机系统各项功能正常，测试通过
• 高可用场景测试通过

访问星融元官网或 vx号“星融元Asterfusion”，获取更多技术分享和最新产品动态