深度学习模型在移动设备的部署

传统部署方法

使用了深度学习技术的移动应用，通常都是直接依赖云服务器来完成DNN所有的计算操作，但这样做的缺点在于移动设备与云服务器之间的数据传输带来的代价并不小（表现在系统延迟时间和移动设备的电量消耗）。

对于所有使用深度学习技术来处理图像、视频、语音和文本数据的个人智能助手而言，目前工业界通常的做法是，利用云服务器上强大的GPU集群资源来完成应用程序的计算操作（以下简称为现有方法）。目前运行在移动设备上的个人智能助手（例如Siri、Google Now和Cortana等）都是采用这种做法。

我们会思考，能不能也对移动设备本身的计算能力加以利用（而不是完全依靠云服务），同时确保应用程序的延迟时间以及移动设备的电量消耗处于合理范围内。

目前的现状是，智能应用程序的计算能力完全依赖于Web服务商所提供的高端云服务器。

移动端 DNN 部署新思路

目前移动设备对DNN通常都具备一定的计算能力，尽管计算性能不如云服务器但避免了数据传输的开销。

Neurosurgeon在这篇出色的论文中， 作者向我们展示了一种新思路：将应用程序所需的计算量“分割”开，并同时利用云服务和移动设备的硬件资源进行计算 。

• 降低了移动设备系统延迟时间，应用程序响应更加迅速。
• 降低了移动设备耗电量。
• 缓解了云服务器数据吞吐压力。