市面主流100G白盒交换机/裸机交换机评鉴指南

一、白盒交换机发展历程

 Figure 1.1

如Figure 1.1所示，白盒交换机在过去三十年间得到了快速发展，其中开放网络基金会（Open Networking Foundation，ONF）、Linux基金会、开放计算项目（Open Compute Project，OCP）、电信基础设施项目（Telecom Infra Project，TIP）等开源组织做出了重要贡献。首先，Linux 1.0 版本于 1994 年正式发布，2 年后 2.0 版本正式更新，提供了网络协议/功能控制的开源框架。用户可根据自己的需求，通过修改内核代码，对网络功能与协议进行修改和定制。受此鼓舞，1998年 IBM、Compaq、Dell 等公司陆续开始商用 Linux 系统，其网络技术及相关生态开始快速发展。2008 年，Linux 开始尝试与交换芯片结合，在数据中心场景中提供大容量、高带宽的域内数据传输服务。为进一步推动 Linux 交换机商业发展，2010 年日本电器（NEC）和惠普（HP）着手研究交换机软件化技术，推出基于 OVS（OpenVSwitch）的开放软件交换机，网络的资源和能力得到前所未有地释放，网络运营开始走向自动化、智能化[3]。2011 年，基于交换机软件化技术，OCP 等组织开始关注交换机虚拟化技术，并于 2013 年开启了对交换机硬件白盒化的标准化工作，推出了 ONIE（Open Network Install Environment）开放安装环境、FBOSS（Facebook Open Switching System）设备管理软件以及 ODL（OpenDaylight）控制器标准文档，在 SDN和白盒交换机领域取得了重大突破。2015 年，OCP 成功推出第一款白盒交换机 Wedge,而后各家也开始基于博通，美满与各大ASIC厂商的硬件制作自己的白盒交换机。与此同时，OVN（Open Virtual Network）虚拟化 SDN 网络、ONL（Open Network Linux）操作系统、ONOS（OpenNetwork Operating System）控制器以及电信领域 OpenNFV、CORD（Central Office Rearchitected as a Datacenter）等虚拟化、白盒化项目也相继兴起。2016 年至今，白盒设备、软件操作系统、网络自动化等技术已得到蓬勃的发展。微软推出的 SONiC（Software for OpenNetworking in the Cloud）、惠普推出的 OpenSwitch、AT&T 推出的DANOS（Disaggregated Network Operating System）以及谷歌面向NG-SDN（Next Generation SDN）推出的 Stratum，开源交换机操作系统层出不穷。同时，ONAP（Open Network Automation Platform）、P4Runtime 接口、Trellis 等网络管控解决方案也呼之欲出，白盒交换机相关的网络技术空前繁荣。

2023年，距离最早一批上市的白盒交换机的推出也已经过去8年之久，15至20年所大批量采购上架的白盒交换机也早已过保或eol，而下架后的交换机便以较为划算的价格大量出现在以Ebay与咸鱼为首的线上二手交易平台中。

二、裸机交换机vs白盒交换机

裸机交换机

裸机交换机只包含硬件，由用户自主购买或者选择软件操作系统。多年来，构建服务器一直是采用的这种方式（有时是PC和笔记本电脑）。用户自己选择需要运行的应用程序，然后选择最能支持该应用程序或最适合的操作系统，然后选择可以在其上运行所有程序的硬件。

裸机制造商主要是台湾企业，包括Accton，Quanta QCT，Celestica和Delta Computer等公司，这些公司还是许多主流交换机供应商的原始设计制造商（ODM）。实际上，用户购买的某些裸机交换机与从主流供应商处购买的交换机相同，只是没有标签和没有操作系统，且成本也很低。具体硬件上来说控制平面普遍选择使用X86，但也有少量的Power PC。交换芯片提供厂商主要包括博通、Marvel、barefoot与盛科。存储器芯片则主要是国外厂商，三星、海力士、镁光科技与兆易创新

目前，市场上可用的操作系统都是商业软件。OCP的开放网络Linux（ONL）是一个开源开发平台，用户可根据自身需求在该平台上构建实际的操作系统，开发人员可以在其基础上进行二次开发，但是不能将其直接部署到生产网络中。

白盒交换机

白盒交换机和裸机交换机的概念常常会让人混淆，两者不同之处在于，白盒交换机安装了操作系统。它仍然是一个开放式交换机，因为操作系统和硬件没有像传统交换机那样集成在一起，相当于你是打包购买了一个裸机交换机和一个操作系统。

例如，如果你从Accton的子公司Edge-Core Networks购买交换机，你可能会选择裸机或者是安装了DCSS SwitchOS的白盒或安装了Cumulus Linux的白盒。Juniper提供了一个白盒解决方案OCX1100，与JUNOS打包销售。Pica8也是提供的白盒解决方案，你可以将其PicOS与交换机一起购买。Big Switch Networks也是白盒供应商，用户可以打包购买他们的SDN软件和裸机交换机。

  Figure 2.1

自从软件定义网络（SDN）出现以后，市场对白盒交换机的需求越来越大，SDN通过软件控制器和直接流表转发的白盒交换机就可以完成数据中心网络的部署，而且这种网络部署快、成本低、便于维护，是现有数据中心网络望尘莫及的。总的来说，白盒交换机的市场发展空间很大，特别是超大规模云服务提供商的出现，其自建云数据中心将需要大量的白盒交换机。

白盒生产厂家主要为思科、戴尔、Arista、瞻博网络、Pica8、Agema Systems、鸿海科技、Edgecore Networks、天弘科技、新华三、锐捷、华为与星融元数据技术。

三、硬件快速入门

以Edge-core 的标志性机型AS7712-32x 32口100G交换机为例，可以大致认识到市面上主流白盒交换机的硬件布局。如图Figure 3.1，整机由交换板，控制平面，风扇控制板与电源模块构成，其他主流机型构造也大同小异。

Fiugre 3.1

值得注意的是，早期ODM厂家多采用自家定义的控制平面与应用于工控机的COM express模块，带来了诸如系统移植与测试等大量的问题。后来，各厂家均转向了由OCP牵头研发的OCM（Open control module）标准，简化了生产流程，提高了效率。

 

 四、各家实物展示与大致参数（大部分图片来自本人与朋友，其余部分出自STH,Ebay与谷歌）

Mellanox

SN2700

32X100G ，噪音较2100/2010来说小，mellanox自家spectrumASIC ＋x86

SN2100

16X100G，比较吵，但是窄机，简单改散热容易过热，mellanox自家spectrumASIC ＋x86

SB7700/7790/7800/7890

36X100G，外形和SN2700差不多，但是纯IB机，最好不要买到不带管理的版本，mellanox自家spectrumASIC ＋x86

SN2010

 18X25G+4X100G，比较吵，但是窄机，简单改散热容易过热，mellanox自家spectrumASIC ＋x86

Celestica 

DX010

32X100G，早期版本（15-16年生产）由于采用了C0步进的Atom C2000的控制平面而会出现不可逆转的问题，后期17-18年生产的版本已经将其修复，博通Tomahawk ASIC+x86

Edge-core（Accton）

as7712-32x

32X100G，智邦（edgecore）的第一代100G白盒交换机，控制板有ppc与x86两种，博通Tomahawk ASIC

HPE 

JL279A/JL280A   Altoline 6960

32X100G，HPE找edgecore OEM的第一代100G产品（其实也就是as7712-32x），可以安装NVIDIA的cumulus系统，博通TomaHawk+x86

R1N25A/R1N26A FM3180 Composable Fabric

48X25G+8X100G，看似是Clelstica DS2500 的OEM，2.0T的 背板带宽，应该是博通的第一代TomaHawk ASIC+x86

Facebook

Wedge100BF-32X

32X100G，facebook的第一代与第二代100g机器都叫wedge100，但是硬件上区别很大，第一代机器叫wedge100，第二代叫wedge100BF（下图），第一代是早期定制产品，asic与控制平面的软件不好适配。二代采用的是博通TmoaHawk+x86

Quanta

T7032-ix1

32X100G，广达自产的交换机，博通TomaHawk＋Atom x86

 T4048-ix8

48X25G+8X100G，广达自产的交换机，博通TomaHawk＋Atom x86

FS

FS N8560-32C

32X100G，博通Trident 3＋x86 D-1527

S8550-6Q2C

6X40G+2X100G,窄机，OEM了国产的代工厂，国产盛科ASIC+x86

Dell

Dell S4112F-ON

12X10G+3X100G，窄机，但是很吵，跑着DELL自家的OS10，Maverick ASIC+x86

 Dell S5048F-ON 

48X25G, 6X100G，跑着DELL自家的OS10，Maverick ASIC+x86

PlexXi（已被惠普收购）

PlexXi PX-S3EQ-F | PX-S3EQ | R0872-F0007-01

32X100G 似乎就是Celestica的OEM，博通Tomahawk＋x86

五、总结

大批第一代/第二代100G数据中心Tor白盒交换机的下架对于Home HPC 以及高端家庭网络爱好者来说无疑是福音。但是，自2021年以来的经济寒冬已经迫使头部互联网与云计算企业和各大运营商放缓升级设备的步伐，某些企业已经开始回购二手市场内的100G白盒交换机，许多曾经看起来十分划算的100G交换机目前也已经无影无踪。但是功夫不负有心人（不是），欧美以及国内的普通客户以及回收商对于非品牌OEM的白盒交换机并不看好，于是便会时常有不少合适的价格出现在Ebay、闲鱼等二手交易平台上。

在我个人的体验上来看，各家大厂的AISC，无论是美满，还是博通，待机功耗均为160w起步，端口全UP的情况下会去到300w左右的功耗（风扇基本调到一样转速，电源损耗基本可以忽略）。而mellanox自家的ASIC则为待机30w，满载150w。如果已经有切实需求而受限于场地的噪音控制时，最好选择Mellanox家的机器，这样至少风扇转速还能拉低一点。至于担心电费的兄弟，我的评价是别碰。

个人推荐价格

普通100G白盒交换机（特别是不自带系统的）：300刀 -1000刀左右，取决于接口配置和个人信仰

品牌100G白盒交换机（例如Dell与mellanox）：1000刀-1700刀左右，取决于接口配置和个人信仰

韭菜窄100G白盒交换机：1500刀左右（不是很推荐购买，接口拓展性差，散热困难，风扇转速高，以及没有冗余热插拔风扇和电源，如果有强烈桌面需求以及DIY动手能力另说）

最后，还是希望各位认清需求，理性消费

参考文献

盘点Google网络自研进击之路：B4、Andromeda、Jupiter、Espresso | SDNLAB | 专注网络创新技术

剖析交换机市场大变动：白盒、裸机交换机蚕食传统市场 & 交换机路由器大融合 | SDNLAB | 专注网络创新技术

Open Compute Project switches rule the data center bare metal roost - report | Fierce Telecom

Report: OCP storage market will more than double by 2023 to $5.4B | Fierce Telecom

腾讯自研交换机标准化之路：S³IP实践 - 腾讯云开发者社区-腾讯云

数据中心网络SONiC白盒技术的发展趋势

2020年交换机产业发展前景分析，白盒交换机或将成主要发展趋势|路由器|服务器|cisco_网易订阅

白盒交换机操作系统混战 | SDNLAB | 专注网络创新技术

白盒交换机：实现网络可编程性的三种方式 - 腾讯云开发者社区-腾讯云

科技观察—网络设备—白盒交换机的基本分析 - 知乎

未来网络白皮书——白盒交换机技术白皮书 | SDNLAB | 专注网络创新技术

https://img1.sdnlab.com/wp-content/uploads/2021/06/21/whitepaper-%E6%9C%AA%E6%9D%A5%E7%BD%91%E7%BB%9C%E7%99%BD%E7%9A%AE%E4%B9%A6%E2%80%94%E2%80%94%E7%99%BD%E7%9B%92%E4%BA%A4%E6%8D%A2%E6%9C%BA%E6%8A%80%E6%9C%AF%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf

http://test.gfnds.com//uploads/20220901/e1ad8a07c6ae9e8b05d0d065c705256f.pdf

黄韬, 霍如, 刘江, 等. 未来网络发展趋势与展望[J]. 中国科学: 信息科学, 2019, 8(49): 941-948.

刘曦. 数据中心网络 SONiC 白盒技术的发展趋势[J]. 通信世界, 2019, No.826(33):44-45. [3] 闫耀华. 云数据中心中虚拟交换机 OpenvSwitch 的性能优化技术研究及实现[D]. 北京邮电大学, 2017.

Tan L, Su W, Zhang W, et al. In-band network telemetry: A survey[J]. Computer Networks, 2021, 186: 107763.

Ventre P L, Salsano S, Polverini M, et al. Segment routing: A comprehensivesurvey of research activities, standardization efforts and implementation results[J]. IEEE Communications Surveys & Tutorials, 2020.

Bera S, Misra S, Vasilakos A V. Software-defined networking for internet of things: A survey[J]. IEEE Internet of Things Journal, 2017, 4(6): 1994-2008.

Bosshart P, Daly D, Gibb G, et al. P4: Programming protocol-independent packet processors[J]. ACM SIGCOMM Computer Communication Review, 2014, 44(3): 87-95.

He B, Dong L, Xu T, et al. Research on network programming language andpolicy conflicts for SDN[J]. Concurrency and Computation: Practice andExperience, 2017, 29(19): e4218.

Wang S, Meng Z, Sun C, et al. SmartChain: Enabling high-performance servicechain partition between SmartNIC and CPU[C]//ICC 2020-2020 IEEEInternational Conference on Communications (ICC). IEEE, 2020: 1-7.

Vajaranta M, Oinonen A, Hämäläinen T D, et al. Feasibility of FPGAacceleratedIPsec on cloud[J]. Microprocessors and Microsystems, 2019, 71: 102861.

Singh S K, Rothenberg C E, Patra G, et al. Offloading virtual evolved packet gateway user plane functions to a programmable ASIC[C]//Proceedings of the 1st ACM CoNEXT Workshop on Emerging in-Network Computing Paradigms. 2019: 9-14.

Bari M F, Boutaba R, Esteves R, et al. Data center network virtualization: Asurvey[J]. IEEE communications surveys & tutorials, 2012, 15(2): 909-928.

McCauley J, Liu Z, Panda A, et al. Recursive SDN for carrier networks[J]. ACMSIGCOMM Computer Communication Review, 2016, 46(4): 1-7. 74

Condoluci M, Mahmoodi T. Softwarization and virtualization in 5Gmobilenetworks: Benefits, trends and challenges[J]. Computer Networks, 2018, 146: 65-84.

Nguyen V G, Kim Y H. SDN-based enterprise and campus networks: a case of VLAN management[J]. Journal of Information Processing Systems, 2016, 12(3): 511-524.

左青云, 陈鸣, 赵广松,等. 基于 OpenFlow 的 SDN 技术研究[J]. 软件学报, 2013(5):1078-1097.

梅雅鑫, 舒文琼. 网络"黑""白"之争[J]. 通信世界, 2018, No.787(29):16-17.

解云鹏, 王江龙, 雷波. 5G 时代 数据中心网络演进正当时[J]. 通信世界, 2019, No.826(33):34-35.

黄志兰,樊勇兵,陈楠,何晓武.overlay SDN 实现异构兼容的关键技术[J].电信科学,2016,32(11):112-118.

徐雷, 侯乐. ICT 全面融合 白盒开启运营商网络转型之路[J]. 通信世界, 2018, No.787(29):22-23.