MIT的研究人员最近开发了一种名为“FeatUp”的新算法，这一突破性技术为计算机视觉领域带来了高分辨率的洞察力

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

想象一下，你短暂地注视着繁忙的街道，然后试图根据记忆绘制你所看到的场景。大多数人能够大致绘制出车辆、人和斑马线等主要物体的位置，但几乎没有人能够以像素级完美的精度绘制出每一个细节。对于大多数现代计算机视觉算法来说，情况也是如此：它们擅长捕捉场景的高层次细节，但在处理信息时会丢失细粒度的细节。

现在，麻省理工学院（MIT）的研究人员创建了一个名为“FeatUp”的系统，允许算法同时捕获场景的高层次和低层次细节——几乎就像是计算机视觉的Lasik眼科手术。

当计算机通过查看图像和视频学会“看”时，它们通过所谓的“特征”构建对场景中物体的“理念”。为了创建这些特征，深度网络和视觉基础模型将图像分解成一个个小方格，并将这些方格作为一个组处理，以确定照片中正在发生的事情。每个小方格通常由16到32个像素组成，因此这些算法的分辨率远小于它们处理的图像。在试图总结和理解照片时，算法会丢失大量的像素清晰度。

FeatUp算法可以阻止这种信息损失，并提升任何深度网络的分辨率，而不会影响速度或质量。这使研究人员能够快速轻松地提高任何新的或现有算法的分辨率。例如，尝试解释肺癌检测算法的预测，目标是定位肿瘤。在使用类似类激活映射（CAM）的方法解释算法之前应用FeatUp，可以显著更详细地（16-32倍）查看模型可能定位的肿瘤位置。

FeatUp不仅帮助从业者理解他们的模型，而且还可以改善各种不同的任务，如物体检测、语义分割（为图像中的像素与对象标签赋予标签）和深度估计。通过提供更准确的高分辨率特征，它实现了这一点，这些特征对于构建从自动驾驶到医学成像的视觉应用至关重要。

“所有计算机视觉的本质都在于这些从深度学习架构的深处涌现出的深刻、智能的特征。现代算法的一大挑战是它们将大型图像缩小为非常小的‘智能’特征网格，获得智能洞察但失去更细微的细节，”麻省理工学院电气工程与计算机科学博士生、MIT计算机科学与人工智能实验室（CSAIL）附属成员，以及该项目论文共同首席作者之一的Mark Hamilton说。“FeatUp帮助实现了两全其美的情况：具有原始图像分辨率的高度智能表现。这些高分辨率特征显著提高了从增强物体检测到改善深度预测的一系列计算机视觉任务的性能，通过高分辨率分析提供了对网络决策过程的更深入理解。”

团队指出，PyTorch中可用的标准工具无法满足他们的需求，并在他们寻求快速有效解决方案的过程中引入了一种新类型的深度网络层。他们的自定义层，一种特殊的联合双边上采样操作，在PyTorch中的朴素实现中效率提高了100倍以上。团队还展示了这个新层可以改进包括语义分割和深度预测在内的多种不同算法。这一层提高了网络处理和理解高分辨率细节的能力，给任何使用它的算法带来了显著的性能提升。

“另一个应用是所谓的小物体检索，我们的算法允许精确定位物体。例如，在杂乱的道路场景中，通过FeatUp丰富的算法可以看到微小物体，如交通锥、反光器、灯和坑洞，而它们的低分辨率同类则失败了。这展示了它将粗糙特征增强为精细信号的能力，”加利福尼亚大学伯克利分校的博士生Stephanie Fu '22, MNG '23，也是新FeatUp论文的另一位共同首席作者说。“这对于时间敏感的任务尤为关键，如在杂乱的高速公路上定位交通标志。这不仅可以通过将广泛的猜测转化为精确的定位来提高这类任务的准确性，而且可能还会使这些系统更可靠、可解释和值得信赖。”

社区及其它领域内的潜在广泛应用，类似于数据增强实践。“目标是将这种方法作为深度学习中的基本工具，丰富模型以更细致的细节感知世界，而不会带来传统高分辨率处理的计算效率低下，”Fu说。

“FeatUp代表了向着使视觉表示真正有用迈出的美妙进步，通过以完整图像分辨率产生它们，”康奈尔大学计算机科学教授Noah Snavely说，他没有参与这项研究。“在过去几年中，学习到的视觉表示变得非常好，但它们几乎总是以非常低的分辨率产生——你可能会输入一个漂亮的全分辨率照片，然后得到一个微小的、邮票大小的特征网格。如果你想在产生全分辨率输出的应用中使用这些特征，这就是一个问题。FeatUp以一种创造性的方式解决了这个问题，将超分辨率中的经典想法与现代学习方法相结合，产生了美丽的、高分辨率的特征图。”

“我们希望这个简单的想法可以有广泛的应用。它提供了我们之前认为只能是低分辨率的图像分析的高分辨率版本，”麻省理工学院电气工程与计算机科学教授、CSAIL成员的高级作者William T. Freeman说。

首席作者Fu和Hamilton与麻省理工学院的博士生Laura Brandt SM '21、Axel Feldmann SM '21以及Zhoutong Zhang SM '21, PhD '22一起，他们都是MIT CSAIL的现任或前任成员。他们的研究部分得到了国家科学基金会研究生奖学金、国家科学基金会和国家情报总监办公室的支持，以及美国空军研究实验室和美国空军人工智能加速器的支持。该小组将在5月份的国际学习表示会议上展示他们的工作。