超级会员免费看
本文探讨了NeurlPS 2023上的一项研究，展示了扩散模型在光流和单目深度估计任务中的出色效果。尽管未使用专门的架构或损失函数，该模型在高反射、半透明和动态物体场景中的表现尤为突出。通过自监督预训练和创新的数据处理技术，扩散模型DDVM在NYU和KITTI基准上取得了最先进的性能。文章提出了通用模型在多模态融合中的潜力，并提倡在其他任务中应用类似思想。
作者：泡椒味的口香糖 | 来源：3D视觉工坊
在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接。
添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群。
0. 笔者个人体会
扩散模型这两年在图像/视频的生成、编辑、恢复，还有文本驱动上应用越来越多，以Stable Diffusion为代表的AI绘画更是火出天际。
那么扩散模型能不能扩展到其他领域呢？最近，NeurlPS 2023的一篇文章就探索了扩散模型在光流估计和单目深度估计方向的应用，而且效果非常好。整篇文章其实没有提出什么新架构或新方法，但是得出了一个很重要的结论："即便不使用光流和深度估计的专用架构和损失函数，只使用一个简单的扩散模型也可以取得很好的效果"。个人感觉这篇文章的最大意义在于促进多模态融合，比如扩散模型是不是也可以用在其他任务上？不同领域的模型和损失函数是不是可以交换？这种思考是很有意思的。这里也推荐「3D视觉工坊」新课程
订阅专栏 解锁全文
181
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
