为什么GPU对于深度学习如此重要

计算机发展到今天，已经大大改变了我们的生活，我们已经进入了智能化的时代。但要是想实现影视作品中那样充分互动的人工智能与人机互动系统，就不得不提到深度学习。2015年4月15日，NVIDIA在北京举行"GPU计算开启深度学习的大门"主题分享会，与广大媒体分享了其在GPU研发方面取得的成绩和最新的研究成果。借助3月底在美国GTC(GPU技术大会)发布的最新信息，本次分享会也围绕深度学习进行了产品、技术、行业趋势等多个方面的分析。会后，我们也有幸采访到了包括NVIDIA全球副总裁、PSG兼云计算业务中国区总经理Ashok Pandey在内的NVIDIA高层和技术人员，听听NVIDIA如何推动深度学习相关研究的发展。

　　搭建GPU在中国的产业链与生态环境

　　相比之前在游戏、视觉效果中的应用，GPU正在成为数据中心、超算中心的标配，并广泛应用于深度学习、大数据、石油化工、传媒娱乐、科学研究等行业。NVIDIA全球副总裁、PSG兼云计算业务中国区总经理Ashok Pandey在大会上就曾表示：“"GPU计算正在加速着深度学习革命，作为深度学习研究技术平台领导厂商，NVIDIA将为中国的深度学习提供更多的技术平台和解决方案，并继续与中国的合作伙伴一起积极参加和推动深度学习生态链的构建。"事实上在Pandey看来，NVIDIA在GPU计算或者说深度学习领域已经形成了完整的平台，"并通过这个平台让更多的合作伙伴实现了业务交互，形成了产业链发展。

▲NVIDIA全球副总裁、PSG兼云计算业务中国区总经理Ashok Pandey

　　“客户最终关心的是一个整体的解决方案。在中国，你要提供整体解决方案，那你离不开像曙光、浪潮、联想这样的服务器公司;也肯定需要我们的框架，比如cuDNN、CUDA等等，还有离不开像Caffe、Theano这些基于开源客户化的一些平台。”Pandey非常了解中国的市场情况，他所负责的PSG业务部门多年来也与曙光、浪潮展开了密切的合作，通过共建实验室等方式实现了技术上的相互支持。近年来，NVIDIA与联想的接触也逐渐增多，特别是在服务器相关的领域也开始了逐步的合作。在谈到这个问题的时候，Pandey表示“现在正处于积极的洽谈交流阶段。”

　　几乎所有深度学习的研究者都在使用GPU

　　熟悉深度学习的人都知道，深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试实现收敛，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像像人一样思考。如今，几乎所有的深度学习(机器学习)研究者都在使用GPU进行相关的研究。当然，我说的是“几乎”。除了GPU之外，包括MIC和FPGA也提供了不同的解决方案。NVIDIA如何看待不同的硬件架构对深度学习的影响，又是如何评价这些技术的呢?

　　NVIDIA中国区解决方案架构工程总监罗华平认为：“技术发展和科技的发展，是需要不同的技术一起来参与。无论是GPU也好、FPGA也好或者是专用的神经网芯片也好，它的主要目的都是推动深度学习(机器学习)这个方向的技术发展。那么我们在初期，确实可以尝试不同的技术，来探讨哪种技术可以更好的适合这项应用。从目前来看，深度学习大量的使用，主要集中在训练方面。那么在这个领域，GPU确实是非常适合的，这也体现在所有的这些工业界的大佬如BAT、谷歌，Facebook等等，都在使用GPU在做训练。”而除了训练之外，在实际的应用方面，NVIDIA也正在结合中国地区IDC机房普遍具备的功耗、网络等特点，“考虑是否设计低功耗的GPU，来满足用户的需求”。

　　除了硬件方面的因素之外，英伟达中国区技术经理赖俊杰也从软件方面解答了GPU对于深度学习应用的价值。首先从深度学习应用的开发工具角度，具备CUDA支持的GPU为用户学习Caffe、Theano等研究工具提供了很好的入门平台。其实GPU不仅仅是指专注于HPC领域的Tesla，包括Geforce在内的GPU都可以支持CUDA计算，这也为初学者提供了相对更低的应用门槛。除此之外，CUDA在算法和程序设计上相比其他应用更加容易，通过NVIDIA多年的推广也积累了广泛的用户群，开发难度更小。最后则是部署环节，GPU通过PCI-e接口可以直接部署在服务器中，方便而快速。得益于硬件支持与软件编程、设计方面的优势，GPU才成为了目前应用最广泛的平台。

　　深度学习发展遇到瓶颈了吗?

　　我们之所以使用GPU加速深度学习，是因为深度学习所要计算的数据量异常庞大，用传统的计算方式需要漫长的时间。但是，如果未来深度学习的数据量有所下降，或者说我们不能提供给深度学习研究所需要的足够数据量，是否就意味着深度学习也将进入“寒冬”呢?对此，赖俊杰也提出了另外一种看法。“做深度神经网络训练需要大量模型，然后才能实现数学上的收敛。深度学习要真正接近成人的智力，它所需要的神经网络规模非常庞大，它所需要的数据量，会比我们做语言识别、图像处理要多得多。假设说，我们发现我们没有办法提供这样的数据，很有可能出现寒冬”。

　　不过他也补充认为——从今天看到的结果来说，其实深度学习目前还在蓬勃发展往上的阶段。比如说我们现阶段主要做得比较成熟的语音、图像方面，整个的数据量还是在不断的增多的，网络规模也在不断的变复杂。现在我没有办法预测，将来是不是会有一天数据真不够用了。

　　对于NVIDIA来说，深度学习是GPU计算发展的大好时机，也是继HPC之后一个全新的业务增长点。正如Pandey所提到的那样，NVIDIA将世界各地的成功经验带到中国，包括国外的成功案例、与合作伙伴的良好关系等等，帮助中国客户的快速成长。“因为现在是互联网的时代，是没有跨界的时代，大家都是同等一起的。”