高效终端设备视觉系统开发与优化

正文字数：6594 阅读时长：10分钟

演讲内容主要包括介绍回顾最新终端机器学习研究的最新进展，介绍Google发布终端设备视觉开发工具，包括TFLite视觉任务API、开源MediaPipe系统、ML Kit开发包等，以及实战开发经验。同时还包括高效终端机器设备视觉技术未来发展方向，例如硬件加速下的深度学习以及端上多任务学习等等。

文 / 汪启扉

整理 / LiveVideoStack

大家好，我是来自Google Research的高级软件工程师汪启扉，首先感谢LiveVideoStack邀请我在此处演讲。今天，我的主题是高效终端设备机器学习的最新进展 。

本次演讲将包括五个主要部分。首先，我将简要介绍端上机器学习。其次我将讨论如何建立适合移动端的机器学习模型，在第三和第四部分 ，我将分别介绍适用于移动应用的端上机器学习优化，以及基于隐私保护的端上机器学习的最新研究。最后，我将讨论端上机器智能的未来工作的展望。

1

端上机器学习

1.1 什么是端上机器学习 

得益于深度学习的巨大成功，我们周围的设备、机器、事物都变得越来越智能。智能手机、家庭助理、可穿戴设备等设备、自动驾驶汽车、无人机之类的机器，以及诸如电灯开关、家用传感器之类的机器，正在利用机器智能来支持自动翻译、自动驾驶、智能家居等应用。比如智能手机、家庭助理、可穿戴设备等；机器方面有自动驾驶汽车、无人机，生活中的器件包括电灯开关、家用传感器之类的机器 。这些机器都正在利用自动翻译、自动驾驶、智能家居等功能。用户可以随心所以地使用机器智能并享受其中。

早年，由于移动端上的计算资源非常有限，大多数机器智能都利用云计算实现。在基于云的机器智能中，源数据会发送到云端进行智能推理，然后将结果下载到本地设备。此类基于云和客户端的系统可能会遭受延迟、隐私和可靠性方面的困扰。不过最近，我们注意到将智能推理从云端迁移到边缘端以改善这些问题的趋势。

1.2 为什么我们需要端上机器学习

在基于云的机器智能应用中，用户和设备间的长交互延迟通常是由不稳定的网络带宽引起的。通过将机器智能转移到客户端可以提供稳定的低交互延迟。

机器智能需要访问私有用户数据，例如用户图片、文档、电子邮件、语音等。机器将所有数据上传到云中可能会引起隐私和安全问题。由于端上机器只能在本地设备上处理所有数据，因此可以保护用户私有数据免受恶意软件攻击。

最后，即使在网络不可用或云服务关闭的情况下，将智能计算移到端上可以保持智能服务始终可用。

因此，端上机器智能已成为智能和移动领域重点研究方向。通过隐私保护的云端计算可以很好地平衡延迟、可靠性、隐私和性能等问题。

1.3 端上推理

基本上，因此，端上智能是通过使用来自设备传感器（例如摄像头、麦克风、和所有其他传感器）的输入信号在设备上运行深度学习推理来实现。该模型完全在设备上运行而无需与服务器通信。

1.4 挑战

有限的计算资源

虽然应用终端设备机器学习显示出巨大优势，但仍然面临许多挑战。首要的挑战是有限的计算资源，在过去的几十年中，我们注意到了移动芯片组的计