【实战技能】Google I/O 2022大会AI/ML给开发者的启发

目录

1 网络ML：利用TensorFlow.js在JavaScript中进行迁移学习

2 大规模分布式模型训练的提示和技巧

3 ML在ARCore的应用

---

对开发者来说，5月份的科技盛事莫过于Google I/O 大会了。以下是5月28日我在【活动回顾】Google I/O Extended 2022 上海分享会分享的内容文字版。作为一个人工智能工作者，我和大家分享对我启发较大的三个内容，即迁移学习、大规模分布式模型训练的提示和技巧以及机器学习在ARCore中的应用。

 

1 网络ML：利用TensorFlow.js在JavaScript中进行迁移学习

TensorFlow.js 是一个开源机器学习库，可运行在JavaScript可以运行的任何位置。它基于使用Python编写的原始TensorFlow库。基于浏览器环境，TensorFlow.js的优点很明显：隐私保护、速度快、扩大覆盖面。TensorFlow.js为 JavaScript 生态系统打造开发者体验和一系列 API，创造了较多的应用场景，是令开发者欣喜的。

迁移学习是基于取现有模型（通常称为基本模型）并将其用于类似但不同的领域。迁移学习只需重新训练模型架构的最后几层而不是整个网络，因此训练速度通常要快得多。迁移学习只需要更少的数据，并且训练较小的网络的速度较快，迁移学习占用较少资源。在现代计算机上只需数十秒即可完成，而无需花费数小时、数天或数周便可进行完整的模型训练。由于近年来积累了大量基本模型，迁移学习可以帮助人工智能工程师节约训练时间和训练资源，“炼丹过程”变得较为轻松。

以下链接很好地解释了如何基于TensorFlow.js 完成迁移学习的实战，操作简单并且开发效率高，建议大家可以动手试一试。

• Tensorflow Js Boilerplate
• https://codepen.io/jasonmayes/pen/BaNjLyo

另外，MobileNets是专用于移动和嵌入式视觉应用的卷积神经网络CNN，其平衡延迟度和准确度，适用于对象检测、细粒度分析、大规模地理定位等场景。

2 大规模分布式模型训练的提示和技巧

使用正确的分布式训练配置可以极大地减少训练时间。更短的训练时间使得迭代更快，以达到建模目标。数据并行和模型并行是两种分布式模型训练类型。数据并行适用于大规模数据集，与常规的、非分布式的模型训练相比，我们在每一步结束时都有一个额外的计算，这就是所有的工作者(workers)相互沟通，交换梯度以计算平均值，可以提高效率。模型并行适用于训练不适合在单个加速器内存中的大规模模型。通常我们需要融合这两种方法。

下图展示了模型并行的两种方式。GSPMD: General and Scalable Parallelization for ML Computation Graphs。即ML计算图的通用和可扩展并行化  

下图解释了流水线并行，即将模型逐层分片。

下图解释了张量并行，即在各层内分割参数和激活。

研讨会上，工程师详细解释了大规模分布式模型训练中的细节和技巧，建议大家可以学习和应用。

3 ML在ARCore的应用

AR（增强现实）将电脑虚拟的图像融入到真实世界的画面中，也就是在现实世界中叠加上新的虚拟内容。运动追踪是AR里非常重要的部分。Inertial Measurement Unit，简称IMU 惯性测量单元，可以追踪用户的姿势。 Visual-Inertial Sensor Fusion视觉-惯性传感器融合也是一种常用方法。

IMU告诉我们运动如何随时间变化。ARCore认证的手机有高速率的加速度计和陀螺仪，以提供IMU数据。运动追踪算法依赖于跨图像的三角形特征。在无纹理的环境或者快速运动或者不连贯的运动，可靠的特征可能会丢失。当特征缺失或不可靠时，如何使跟踪更健壮？由于经典的IMU积分包括对加速度计测量值的双重积分，任何小的误差都会随着时间的推移迅速累积，使姿势发生偏离。可以考虑用机器学习，也就是训练一个神经网络模型学习IMU(惯性测量单元)测量和实际设备姿势之间的相关性，这个模型可以学习如何纠正加速度计测量值双重积分误差，避免出现分歧。如下图所示，在追踪时，我们采取当前的IMU测量，并将其输入网络。网络反过来返回当前的设备位置。当特征可用时，ARCore正常工作。当特征缺失或不可靠时，ML解决方案介入并实时提供设备的姿势，以取代标准的ARCore。

本篇文章是我在浦东封控之后分享的第62篇文章，很高兴明天6月1日起可以自由出入。感谢各位在这跨越3个月期间给我的支持！