智能判断图片中是否存在某物体_影子追踪！MIT让自动驾驶练出“透视眼”，看影子就知道有无物体靠近...

大数据文摘出品

来源：MIT News

编译：啤酒泡泡、钱天培

观察光影变换，就能知晓有“敌人”在逼近——这听起来是不是很像武侠小说呢？

可没有那么玄乎。MIT的工程师告诉你，他的AI系统就能做到！

为了改善自动驾驶系统的安全性，MIT的几位工程师近日开发了一个新的系统。它可以识别地面上的影子，进而判断拐角处是否有物体正在靠近车辆。

未来，自动驾驶车辆可以使用这个系统及时避免可能发生的车祸，比如从建筑物拐角出现的车辆和行人。不久的将来，医院大厅里用来传递药品或是提供补给的机器人也可以使用这个系统来避免撞到人。

比传统的LiDAR系统快了0.5~1秒

在一篇即将在下周IROS的国际会议所展示的论文里，研究人员为我们展示了这项成果。研究人员设计了两个场景，在停车场的拐角处的自动驾驶车辆和大厅里导航的自动轮椅。当感应到有车辆靠近时，这款基于车辆的系统的制动时间比传统的LiDAR系统（只能探测到可见物体的激光雷达）快了0.5~1秒。

研究人员表示，0.5-1秒看上去很短，但是对于一个快速移动的自动驾驶车辆而言，这不到一秒的提升却很重要。

“在某些场景下，比如机器人在有移动物体和人群的环境中移动，我们的方法可以预先警告机器人，提示有物体正在向角落移动，车辆会根据提示降低速度、调整路线、提前做好准备以避免碰撞。”论文作者、计算机科学和人工智能实验室（CSAIL）负责人补充道。

“我们的理想是为街上正在快速移动的车辆提供类似‘X光’的视角辅助。”

但是，目前这个系统只接受了室内环境的检验。室内的机器移动速度很慢而且光照条件波动很小，这使得该系统很容易探测并分析影子。

ShadowCam的扩展

研究人员基于“ShadowCam”系统开发了利用计算机视觉技术检测并分类地面影子图像的系统。MIT的William Freeman 教授和Antonio Torralba教授参与了该系统的前期工作（并未在IROS论文署名），并在2017年和2018年的会议上展示了研究结果。

ShadowCam使用了一连串摄像头对准固定区域（比如拐角前的地面区域）进行拍摄，作为系统的输入数据。系统通过分析一张张图片来记录光照强度随时间的变化，以此推断是否有物体正在远离或靠近。

有些变化时肉眼看不见或者很难分辨，因而需要通过物体和环境的多种性质才能做判断。而ShadowCam通过分析收集到信息，将每张图片分类为静止物体或是移动物体。如果系统检测到移动物体，那么系统会自动做出调整。

将ShadowCam应用于自动驾驶车辆还需要一些改进。例如，早期版本需要对场地添加增强的标签（AprilTags，类似简化的二维码）。机器人通过扫描AprilTags来确定自己的空间位置以及行进方向。ShadowCam利用这些标记代表环境的特点，并重点关注那些可能有影子的像素区域上。但是在实际环境中，使用AprilTags是不现实的。

于是，研究人员发明了一个新的处理方法，它结合了图像配准和一种新的视觉里程计算技术。在计算机视觉里，图像配准将多个图片重叠起来以发现图片间的变化。例如，医学图像配准将多个医学扫描图像重叠进行比较，用于分析病体在解剖学上的差异。

视觉里程计（已用于火星探测器）可以通过分析一系列图片中的位置和几何空间特征来实时地估计摄像头的运动。研究人员使用了“Direct Sparse Odometry”(DSO)技术，它可以计算环境中的特征位点，达到与AprilTags标记法类似的效果。

NASA用ShadowCam执行月球任务

重要的是，DSO技术可以绘制环境特征位点的3D云图，并利用计算机视觉工程挑选出你关注的某个区域内的环境特征位点，比如靠近拐角的地面（此前，关注的区域需要事先手动标记）。

ShadowCam收集了一系列关注区域的图片，因此它需要使用DSO图像配准方法将来自同一机器视角的图片叠加分析。尽管机器人在移动，它仍旧可以关注到影子所在的某一小块像素区域，以发现图片间存在的微小差异。

另一个技术是信号放大，该技术在第一篇论文中介绍过。包含影子的像素点会提高颜色的亮度以此降低信噪比。这项技术可以放大影子变化产生的微弱信号，使其能被检测到。如果被增强的信号达到一定的阈值（这部分取决于该像素区域与相邻区域的差异有多大），那么ShadowCam会把图片分类为“运动”。根据信号的强弱，系统会告知汽车或者机器人是减速或是停止。

“检测到这个信号后，你就得小心了，这意味着可能有人正从拐角或是停止的车辆间跑出来，从而让自动驾驶车辆减速或是完全停止。”Naser说。

无标记测试

在一项测试中，研究人员分别使用AprilTags标记法和基于DSO的方法评估了系统在分类移动物体和静止物体的表现。当人们经过拐角进入轮椅的既定路线时，自动驾驶的轮椅会朝着大厅拐角的方向走去。两种方法都取得了70%的准确率，这表明以后可以不再需要AprilTags标记法。

在另一项测试中，研究人员将ShadowCam安装到一辆停在地下车库的自动驾驶汽车中，并且关掉了车灯，用来模拟夜间的车辆行驶环境。他们对比了该系统和LiDAR在检测车辆上的表现。实验显示，ShadowCam检测柱后车辆所用的时间比LiDAR快了0.72秒。更重要的是，研究人员将ShadowCam调试到适用于车库光线状态的模式，系统的分类准确率达到了约86%。

接下来，研究人员将继续完善该系统，使其能在不同的室内室外光照条件下工作。未来也会出现各种通过影子检测速度的办法，实现目标区域内的检测影子的自动化。