AI这门“玄学”为何要从数据平台修起？

著名经济学家、世界经济论坛主席Klaus Schwab在《第四次工业革命转型的力量》一书中认为，这一轮工业革命的核心是智能化与信息化，进而形成一个高度灵活、人性化、数字化的产品生产与服务模式。

诚然如斯。如今，以AI为代表的数字化技术正在推动第四次工业革命，以期实现生产力的又一次飞跃。但经历多年数字化转型之后，用户们发现AI应用上依然面临着诸多挑战。越来越多用户意识到AI要想真正发挥威力，不仅仅涉及到机器学习、联邦学习、模型算法等，更与底部的数据平台息息相关。

用好AI还必须先从数据平台入手？没错！因为一个好的数据平台犹如为AI应用构建好大规模应用的基础，真正让AI通用性变强，从而为生产力注入智慧的力量。

为什么基础架构会遇到瓶颈

不可否认，AI的兴起给基础架构带来了极大变化。Gartner就预测，到2025年,由于人工智能市场的成熟,人工智能将成为推动基础架构决策的最主要因素之一，这将导致基础架构需求增长10倍。

具体来看，当前所有的AI应用都是由数据、算法和算力驱动，并且呈现出一些非常典型的特征：

首先，模型走向大型化和复杂化，带来了极大的数据量和数据处理需求。以OpenAI的GPT模型为例，2020年的GPT-3模型参数达到1750亿个，预训练数据量高达45TB，并且目前市场上诸多模型无论是规模、数据量、训练层数均是屡创新高，对于数据存储的需求也是肉眼可见地增加。

其次，AI应用实时性要求极高，使得像数据平台等基础设施迎来极大压力。例如，像自动驾驶如今成为各大汽车厂商的核心竞争力，一辆L4级的自动驾驶车辆每天诞生高达60TB的数据，谁能够更快训练出更高阶的自动驾驶技术，谁就能够在市场中处于竞争领先位置。

“传统的基础架构无法适应AI数据处理，在数据到达GPU之前，消耗了70%的时间做数据准备。”Hitachi Vantara中国区技术销售总监谢勇介绍道，“GPU、XPU等各种算力在不断提升，但数据存储处理能力却跟不上。”

第三，越来越多智慧应用极度渴望多样性数据，AI模型需要多维度数据来不断训练与成长。比如，在金融领域，过去大部分都是基于服务流程中产生的过程数据；现在，很多金融机构为了让模型更加准确，往往会融入像地理信息的遥感数据、动物数据等，数据维度和丰富程度远胜以往。

“总体来看，AI应用在不断走向成熟，带来了数据指数级增长，但用户预算却不断缩减，很多用户在数据平台层遇到瓶颈。”谢勇如是说。

AI需要什么样的数据平台

如果说数据平台是AI应用的地基，那么这个地基的优劣直接决定着AI应用的效率和通用性。一旦AI效率和通用性问题得到解决，也即意味着数据生产力将产生质的变化。

从数据类型、数据处理流程和效率来看，由传统存储架构组成的数据平台的确是有着天然的各种“缺陷”。比如，在很多用户的实际环境中，依然是采用不同接口来接入到不同存储系统之中，很难在一个数据平台上满足不同数据类型对于性能的不同需求，并且容易形成多个数据孤岛；而从数据处理管道来看，存在多个数据孤岛之间来回拷贝的环节，不仅数据处理效率低下，而且性能无法满足AI应用的处理需求。

 

因此，为AI而生的数据平台应该是在性能、扩展性和易用性方面实现重塑，以满足AI应用对于数据处理的各种需求。事实上，以Hitachi Vantara HCSF (Hitachi Content Software for File) 为代表的新一代数据平台正是在这种趋势下脱颖而出，它让AI数据处理避免了分散管理流程，无需拷贝数据和复杂的性能调优，使得所有数据处理流程均在一个数据平台中进行，并且进行自动化的性能调优，实现性能、扩展性和易用性等方面质的提升。

以性能为例，HCSF采用具备专利的元数据和数据的全分布式架构，以及NVMe和高速网络设计，从而实现同时高效处理高吞吐/高IOPS/低延迟/高效元数据处理，性能比当前市场上所有全闪存NAS快十倍之多；在扩展性方面，HCSF具备从TB到EB级的扩展能力，还能从本地扩展到云端，并且能够实现跨NVMe和OBS的统一命名空间；在易用性方面，实现了从安装到数据协议接入、自动性能调优的简易化，让用户能够很快上手。

“ HCSF作为一个完整的数据平台，避免了传统架构多台设备并存带来的复杂性和数据孤岛，并且在数据接入、空间管理和云端协同方面均实现了极为简易的操作。AI应用的数据处理过程中不需要来回流动、迁移和复制。”Hitachi Vantara中国区资深解决方案顾问蔡慧阳介绍道，“在传统架构的数据平台下，管理复杂性、性能调优都往往需要专家级的技术人员，并且在元数据等层面存在极大缺陷。”

据悉，HCSF在交付方式上也非常灵活，可以提供软硬一体化或者纯软的方式来满足不同用户的需求。此外，Hitachi Vantara也与多家云服务商达成合作，将HCSF直接部署在云端，为客户提供更加灵活的选择。

深耕AI场景，HCSF经受多个行业考验

近年来，金融、科研、医学、制造、汽车等行业均在加速推动AI应用，像金融领域的智能投顾、智能风控，医学领域的精准医学、看片机器人，科研领域的基因研究、地理空间研究；汽车领域的自动驾驶等等，无不体现出AI和数据生产力的价值。

事实上，也正是这些行业用户率先在数据平台上意识到传统架构的不足，并且积极寻求新的数据平台。谢勇表示：“过去三年，很多行业用户均意识到AI应用的最大瓶颈并不是GPU卡，而是数据平台层。”

以某量化基金公司为例，拥有几百个节点的计算集群，采用最先机的GPU计算加速卡，以最先进的算力来跑量化模型，但三年实践下来，无论后端数据平台层如何优化，依然在性能、扩展性方面存在巨大不足。“类似这样的用户不在少数，他们均是在实践AI之后才意识到数据平台的重要性，并且均是通过HCSF解决了上述挑战。”

又如汽车领域的自动驾驶场景，很多车企通常部署了数百台配置先进GPU的计算集群进行自动驾驶训练，每提升一个级别，意味着数据量呈指数级的增长，L5级的自动驾驶甚至能够达到EB级的数据量，对于数据平台的性能、容量和扩展性极为考验。蔡慧阳介绍：“有车企在采用HCSF之后，一次训练与仿真测试时间从过去80个小时缩短为4个小时，EB级的扩展能力也让车企不再为容量担忧。”

“HCSF是专门为AI而生的数据平台，并且在多个行业的AI应用中获得了很好的实践。Hitachi Vantara推出HCSF的初衷就是以数据为中心，让更多行业客户可以更好地应用AI和提升数据生产力，从而实现运营效率的提升和商业创新。”谢勇最后表示道。