即时运动跟踪-Instant Motion Tracking

转自：https://blog.csdn.net/yorkhunter/article/details/104890874

最近谷歌发布3-D目标检测和姿态估计的新开源软件，借此大家了解一下其中采用的一些骨干技术。

这是其中一个技术：Motion Still AR背后的即时运动跟踪，原文见：https://ai.googleblog.com/2018/02/the-instant-motion-tracking-behind.html。

这是适用于Android的Motion Still 增强现实（AR）模式。 使用这个AR模式，用户只需触摸取景器即可将有趣的虚拟3D目标放置在静态或移动的水平表面（例如桌子、地板或手）上，从而使它们与动态的真实环境无缝交互。 还可以将片段录制和共享为GIF和视频片断。

该AR模式由即时运动跟踪，一个基于六自由度（DOF）的跟踪系统提供，该系统基于两个功能，即Motion Text in Motion Stills iOS（https://ai.googleblog.com/2016/12/get-moving-with-new-motion-stills.html）和Privacy Blur on YouTube（https://youtube-creators.googleblog.com/2016/02/blur-moving-objects-in-your-video-with.html）背后的技术提供支持，可精确跟踪静态和运动目标。 这里改进和增强了该技术，实现在任何带有陀螺仪的Android设备上运行有趣的AR体验。

触摸取景器一点时，Motion Stills AR会将3D虚拟目标“粘贴”到该位置，使其看起来好像是真实场景的一部分。 通过假设被跟踪的表面与地面平行，并使用设备的加速传感器提供手机相对于地面的初始方向，就可以跟踪摄像头的六自由度（3个平移， 3个旋转）姿态。 这能够在场景内准确地变换和渲染虚拟目标。

注：当手机大致稳定时，加速传感器由于地球重力而提供加速度。 水平面的重力矢量平行于所跟踪平面的法线，并且可以准确地提供手机的初始方向。

即时运动跟踪的核心思想是将摄像机的平移和旋转估算分离开来，将它们视为独立的优化问题。 首先，仅根据摄像机的视觉信号确定3D摄像机的平移向量。 为此，观察目标区域明显的2D平移和帧间的相对比例。 一个简单的针孔相机模型将边框在图像平面的平移和缩放与相机的最终3D平移相关联。

注：图像平面中边框的平移和尺寸变化（相对比例）可用来确定两个相机位置C1和C2之间的3D平移。 但是由于不假设相机镜头的焦距已知，故不知道被跟踪平面的真实距离/深度。

为了解决这个问题，在现有的跟踪器（即Motion Text in Motion Stills iOS使用的跟踪器）和摄像机视场外的区域跟踪添加了比例估计。 当摄像机靠近被跟踪表面时，虚拟内容会准确缩放，与对现实世界目标的感知一致。 当在目标区域的视野外平移并向后移动时，虚拟目标将重新出现在大致相同的位置。

完成所有这些操作后，用手机的内置陀螺仪获得设备的3D旋转（滚动，俯仰和摇摆）。 估计的3D平移与3D旋转相结合，能够在取景器中正确呈现虚拟内容。 并且由于分别处理旋转和平移，因此即时运动跟踪方法无需校准，它可以在任何带有陀螺仪的Android设备上使用。