CV每日论文--2024.6.20

1、Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

中文标题：任意深度：通过透视蒸馏和未标记数据增强增强 360 单目深度估计

简介：该方法提出一种新的深度估计框架来增强360度图像的单眼深度估计。它利用现有的透视深度估计模型作为教师模型,通过六面立方体投影技术生成伪标签,实现对360度图像深度的高效标注。该方法包括两个主要阶段:无效区域的离线掩码生成和在线半监督联合训练。该方法在基准数据集上显示出显著的深度估计精度提升,特别是在零样本场景中。该训练流程可以增强任何360度单眼深度估计器,展示了跨不同摄像机投影和数据类型的有效知识转移。更多细节和结果可参考项目页面:https://albert100121.github.io/Depth-Anywhere/

2、LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging

中文标题：LayerMerge：通过层修剪和合并进行神经网络深度压缩

简介：最近的研究表明，在保持网络性能的同时减少卷积神经网络的层数可以提高效率。现有的深度压缩方法通过去除冗余的非线性激活函数和将连续的卷积层合并为单个层来实现。然而，这些方法存在一个关键缺点：合并层的核大小变大，严重削弱了减少网络深度所获得的延迟降低效果。我们提出了一种新的深度压缩方法——LayerMerge，通过联合修剪卷积层和激活函数来解决这个问题。为此，我们提出了一种新的代理优化问题，并通过动态规划高效地解决了这个问题。我们的实验结果表明，我们的方法在各种网络架构上（包括图像分类和生成任务）始终优于现有的深度压缩和层修剪方法。我们已在 https://github.com/snu-mllab/LayerMerge 上发布了LayerMerge的官方PyTorch实现代码。

3、Neural Approximate Mirror Maps for Constrained Diffusion Models

中文标题：约束扩散模型的神经近似镜像图

简介：扩散模型在创建具有令人信服的视觉效果的图像方面表现出色，但往往难以满足训练数据中固有的微妙约束。这些约束可能是基于物理（例如满足PDE）、几何（例如尊重对称性）或语义（例如包含特定数量的对象）的。当训练数据满足某个约束时，强制在扩散模型上执行这些约束不仅可以提高其分布匹配精度，还可以使其更可靠地生成有效的合成数据和解决受约束的逆问题。然而，现有的受约束扩散模型方法在不同类型的约束下缺乏灵活性。最近的研究提出了一种学习镜像扩散模型（MDMs）的方法，在无约束空间中使用反向镜像映射来强制执行约束，但是对于复杂约束来说，分析镜像映射是具有挑战性的。为此，我们提出了神经近似镜像映射（NAMMs）用于处理一般约束。我们的方法仅需要使用可微分的距离函数来定义约束集合。我们通过学习一个近似的镜像映射将数据推入无约束空间，并相应地学习一个近似的反向映射将数据映射回约束集。然后，我们可以在学习到的镜像空间中训练生成模型（例如MDM），并通过反向映射将生成的样本恢复到约束集中。我们验证了我们的方法在各种约束条件下的有效性，结果表明，与无约束扩散模型相比，基于NAMM的MDM显著提高了约束的满足度。我们还演示了如何在学习的镜像空间中轻松应用现有的基于扩散的逆问题求解器来解决受约束的逆问题。