TensorFlow Lite相关实现: On-Device Neural Net Inference with Mobile GPUs

http://arxiv-ai.com/discuss?id=1907.01989

由于其较低的延迟和增加的隐私，因此期望用于移动电话的机器学习模型的设备上推断。然而，由于有限的计算能力，热约束和能量消耗，仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已开始利用硬件加速器来克服这些挑战。最近，设备制造商正在使用神经处理单元进入高端手机进行设备推断，但这只占手持设备的一小部分。在本文中，我们展示了我们如何利用移动GPU（几乎是每部手机上无处不在的硬件加速器）来实时推动Android和iOS设备的深度神经网络。通过描述我们的架构，我们还讨论了如何设计移动GPU友好的网络。最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中，并可通过https://tensorflow.org/lite公开获取。https://tensorflow.org/lit