AI巨头 英伟达(Nvidia) 为何要收购 SwiftStack

2020年3月6日，看到一位同事的朋友圈，惊觉Nvidia收购对象存储SwiftStack。

其实对于这个收购，我一直心存疑虑，就是做为一家AI巨头的Nvidia，为何要收购一家对象存储？ 

在我印象中，对象存储大部分用于海量非结构化数据的存放，备份归档，云存储、企业云盘等。原来我觉得，从存储特征来看，对象存储的延迟可能很难满足AI的性能需求；从使用习惯来看，大多数AI用户都是采用文件接口。如果真是如此，Nvidia收购SwiftStack用来做什么呢？

带着这份疑虑，上网（包括外网）搜索了一下，也和业界一些存储专家交换了一些看法。逐渐有了一些思路，但感觉还是不太满意，欢迎大家一起讨论，微信或QQ群里，文章留言，电话等等都欢迎。

首先为了阅读方便和澄清一些可能引起歧义的地方，从微信公众号“乐生活与爱IT” 2018-06-10发表的原创文章《SDS之Object Storage: 对象存储，老树开新花》摘引部分：

一、什么是对象存储？

对象存储是自包含、自愈合的智能存储设备，具有容量大、速度快、扩展灵活的特点。每一个对象除了存放数据本身之外，还存放了数据的元信息，例如创建的日期和时间，属主，大小，索引，保留周期，QoS等。对象本身使得数据的组织得到了简化，避免了传统存储文件目录树形结构的复杂。对象的存放是扁平化地方式保存在bucket（桶）中的。变为更为简单。而且对象的元信息，方便了海量数据的检索。如下图：

二、接口还是内部数据组织形式

1）当我们谈对象存储时，大多数是指存储接口，是否支持RestFul或S3，也即对象接口的形式来访问存储空间。

2）少数情况下，对象存储指存储设备的内部数据组织形式。在数据猛增的背景下，越来越多的存储设备内部采用对象存储的这种内部数据组织形式。例如商业的VMware vSAN，以及开源的Ceph OSD，这其实也代表着一定的趋势。海量小文件，如数量级在千万，甚至十亿百亿以上，文件目录结构方式存储（也即文件接口的存储），元数据是一个巨大的挑战，尤其是性能。

下面我们的讨论聚焦在存储接口采用对象存储的这种方式。

首先，我们来看一下做为事实上的标准的AWS S3，从骨子里说，它代表的对象存储，是一种在线的 海量数据 较低成本的存储方式，适合跨地域读写；因此，虽然备份归档是对象存储的使用场景之一，但只是做备份归档，委屈了对象存储。

其次，对象存储的高并发，特别适合前端呈现分布式负载的场景。AI场景的使用，包括AI训练、AI推理，是由许许多多个任务并发进行的，任务与任务之间几乎没有数据的交互，因此很少考虑存储通常要顾及的写一致性。

再次，AI分为提取（Ingest）、准备（Preparation）、训练（Training）、推理（Inference）和归档（Archive）等阶段。综合考虑用户使用习惯、性价比、性能和容量，如果能够取得一个平衡的话，对象存储能够用在AI的多个不同阶段。

下面我们来看（或者说猜测）Nvidia收购SwiftStack的几个原因：

1、Nvidia欲整合AI基础架构

不只是计算，还想重构网络和存储。2019年3月11日NVIDIA以69亿美元收购 Mellanox；2020年3月6日收购SwiftStack之后，还会再收购一家存储公司吗？

Nvidia是一个非常注重生态的公司。2019年12月18日，我曾参加GTC中国的大会（位于苏州金鸡湖），印象非常深刻。在我看来，整个IT业界，原来有两家生态做得非常不错的公司，一个是硬件领域的Intel，另一个是软件领域的VMware。现在至少有三家了。

2、SwiftStack在数据跨云管理和高并发的优势

1）在网页

https://sourceforge.net/software/product/SwiftStack/

里提到：

“With SwiftStack 1space,data is placed across multiple clouds, public and private, via operator-definedpolicies to get the application and users closer to the data. A singleaddressable namespace is created where data movement throughout the platform istransparent to the applications and users”。

2）另据报道：

"Manuvir Das表示，英伟达尤其喜欢SwiftStack的1space技术，该技术可以为忙于处理缓存和分层等任务的GPU助一臂之力。
 
SwiftStack V7于2019年发布，提供数PB的规模，可处理数千个worker节点同时访问数据的任务。它提供了超过100GB /秒的吞吐速度，性能和容量都能实现线性扩展。

1space是英伟达收购Swiftstack的主要原因，这是一种文件连接件，使云原生应用程序可以通过S3或Swift对象API访问本地数据或AWS数据，并可以确保不断向数据提供计算资源”

个人认为，AI训练有个特点，它一次性将原始训练集的数据加载到计算节点的内存或者SSD后，需要经过一段较长的时间（也即计算或说训练），才会再次读取存储上的数据。因此，对象存储的延迟可能不会障碍，这一点可以通过高并发来弥补。

3、用于数据提取，或者数据归档阶段
海量的数据，采用对象存储是一个不错的选择。

4、收购价便宜 : )

我曾看到一篇文章提到："英伟达在内部使用SwiftStack的存储技术，用来打造一些方案。不过，由于SwiftStack发展不如预期，面临着恶意收购，英伟达又不想终结这个方案，于是就有了这次收购"。

估计英伟达内部大量使用SwiftStack来存储数据，用较低价格收购，以免受人制肘，也是有可能的。

无论如何，对象存储在云计算和AI迅猛普及的情况下，一定会迎来它的春天。我清楚地记得，2018年IDC中国的数据，分布式存储市场中，对象存储的年复合增长率远超块和文件。

备注：

本篇文章部分内容或者启发来自

1、SwiftStack官网、浪潮存储微信公众号、乐生活与爱IT微信公众号等

2、感谢我的同事或朋友：

潘为民、王海涛、胡永刚、李明宇、李雪生、曹亚孟、张炎泼等人

我的观点不一定正确，欢迎指正、讨论、留言。