港大&字节提出用于任意图像的深度估计大模型Depth Anything

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

---

前言

本文提出一种用于单目深度估计(Monocular Depth Estimation, MDE)的高度实用方案Depth Anything，它旨在构建一种可以处理任务环境下任意图像的简单且强力的基础深度模型。

---

项目链接: https://github.com/LiheYoung/Depth-Anything
文章地址: https://arxiv.org/pdf/2401.10891v1.pdf

demo体验

总体体验下来，效果还是相当让人震撼的！！！
demo地址: https://huggingface.co/spaces/LiheYoung/Depth-Anything

可以在结果生成位置随意拉动滑动条实时产生图像中某个部分的单目深度估计图。

---

总结

作者从三个维度进行了探索：
1.数据集维度，设计了一种数据引擎用于数据收集与自动标注，构建了~62M的大规模无标注数据，这极大程度提升了数据覆盖率、降低泛化误差；
2.通过利用数据增广工具构建了一种更具挑战性的优化目标，促使模型主动探索额外的视觉知识，进而提升特征鲁棒性；
3.设计了一种辅助监督信息以迫使模型从预训练Encoder中继承丰富语义先验信息。