Depth-Anything

一种用于单目深度估计(Monocular Depth Estimation, MDE)的高度实用方案Depth Anything「致敬Segment Anything」，它旨在构建一种可以处理任务环境下任意图像的简单且强力的基础深度模型。

这是一种用于鲁棒单目深度估计的解决方案。目标是建立一个简单而强大的基础模型，在任何情况下处理任何图像。为此，设计一个数据引擎来收集和自动注释大规模未标记数据（～62M），从而大大扩大了数据覆盖范围，这样能够减少泛化误差，从而扩大数据集的规模。作者研究了两种简单而有效的策略，这两种策略使数据增强更有希望。首先，利用数据增强工具创建了一个更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得稳健的表示。其次，开发了一种辅助监督，强制该模型从预训练的编码器继承丰富的语义先验。作者对其零样本功能进行了广泛评估，包括六个公共数据集和随机拍摄的照片。它展示了很好的泛化能力。此外，利用来自NYUv2和KITTI的深度信息对其进行微调，设置新的SOTA。更好的深度模型也产生了更好的以深度为条件模型ControlNet。

单目深度估计（MDE）是一个在机器人[65]、自主驾驶[63，79]、虚拟现实[47]等领域有广泛应用的基本问题，它还需要一个基础模型来估计单个图像的深度信息。然而，由于难以构建具有数千万深度标签的数据集，这一点一直没有得到充分的探索。MiDaS[45]通过在混合标记数据集上训练MDE模型，沿着这一方向进行了开创性的研究。尽管表现出一定水平的零样本能力，但MiDaS受其数据覆盖范围的限制，因此在某些情况下表现不佳。

传统上，深度数据集主要通过从传感器[18，54]、立体匹配[15]或SfM[33]获取深度数据来创建，这在特定情况下是昂贵、耗时甚至难以处理的。相反，本文关注大规模的未标记数据。与立体图像或深度传感器的标记图像相比，单目未标记图像具有三个优点：（i）（获取简单且便宜）单目图像几乎无处不在，因此易于收集，无需专门的设备。（ii）（多样性）单目图像可以覆盖更广泛的场景，这对模型的泛化能力和可扩展性至关重要。（iii）（易于注释）简单地使用预训练的MDE模型为未标记的图像分配深度标签，这只需要前馈推理步骤。更高效的是，这还产生了比激光雷达[18]更密集的深度图，并省略了计算密集的立体匹配过程。

人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。

近日，一种可有效利用大规模无标注图像的新 MDE 模型  Depth Anything 凭借强大的性能在社交网络上引起了广泛讨论，试用者无不称奇。

作者的工作利用标记和未标记的图像来促进更好的单目深度估计（MDE）。形式上，标记集和未标记集分别表示为Dl和Du。工作目标是从Dl学习教师模型T。然后，利用T为Du分配伪深度标签。最后，在标记集和伪标记集的组合上训练了一个学生模型S。如图提供了一个简短的说明，流水线包括如下。实线：标记的图像流，虚线：未标记的图像，特别强调大规模未标记图像的价值，S表示添加强扰动。为了使深度