StarGFS并行文件系统加速AI人工智能研究

一、人工智能蓬勃发展

1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念，梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还在同时存在。

2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。人工智能广泛的采用深度学习来实现，目前大部分的深度学习算法研究都基于GPU架构的超算平台。GPU+人工智能算法在很多领域都取得了很好的应用效果，如信号处理、物理模拟、几何计算、数据挖掘和图像处理等领域。HPC和AI正走的越来越近。

二、数据存储的需求和挑战

机器学习是实现人工智能（AI）的一种方法，而深度学习又是实现机器学习的一种方法。

由于高性能计算技术的发展，使得相比神经网络计算量更大的深度学习，能够在可以接受的时间内完成可以使用的深度学习模型。

深度学习常用的学习工具有：Caffee、MxNet、TensorFlow、Torch等，这些软件在训练算法时，同时兼具计算密集型和I/O密集型两个特点，深度学习算法对于速度和规模的需求是相互促进的。为了达到更好的分类和识别效果，我们需要更多高质量的特征。这导致了深层神经网络模型往往具有大量的模型参数，非常复杂的特征