CV每日论文--2024.4.23

1、InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models

中文标题：InstantMesh：使用稀疏视图大型重建模型从单个图像高效生成 3D 网格

简介：本文介绍了InstantMesh，这是一个快速的3D网格生成模型，可以通过单张图像实现。它具有最先进的生成质量和显著的训练可扩展性。通过充分利用现成的多视角扩散模型和基于LRM架构的稀疏视角重建模型的优势，InstantMesh能够在10秒内创建多样化的3D资产。为了增强训练效率和利用更多的几何监督，例如深度和法线，我们将可微分的等值面提取模块集成到我们的框架中，并直接在网格表示上进行优化。在公共数据集上进行的实验结果表明，InstantMesh在质量和数量上都显著优于其他最新的图像到3D基线模型。我们已发布InstantMesh的所有代码、权重和演示，希望能够为3D生成AI社区做出实质性的贡献，为研究人员和内容创作者提供强有力的支持。

2、3D Gaussian Splatting as Markov Chain Monte Carlo

中文标题：3D 高斯泼溅作为马尔可夫链蒙特卡罗

简介：最近，基于3D高斯喷洒的神经渲染变得越来越受欢迎。然而，目前的方法依赖于精心设计的克隆和分裂策略来放置高斯核，这种方法并不总是具有普适性，可能导致较差的渲染质量。此外，在面对现实世界的场景时，这些方法依赖于良好的初始点云才能表现良好。在本研究中，我们对3D高斯核进行了重新思考，将其视为从描述场景物理表示的潜在概率分布中抽取的随机样本，换句话说，是马尔可夫链蒙特卡罗(MCMC)样本。从这个角度来看，我们展示了3D高斯更新与随机朗维因梯度下降(SGLD)更新非常相似。与MCMC类似，样本只是过去的访问位置，我们的框架下添加新的高斯核可以简单地实现，只需将高斯核放置在现有高斯核位置即可。为了提高效率，我们引入了高斯核的L1正则化器。通过在各种标准评估场景中进行实验，我们展示了我们的方法提供了改进的渲染质量，易于控制高斯核数量，并对初始化具有鲁棒性。

3、ZeST: Zero-Shot Material Transfer from a Single Image

中文标题：ZeST：从单个图像进行零次材料传输

简介：我们提出了一种名为ZeST的方法，用于在给定材质示例图像的情况下，实现对输入图像中对象的零样本材质转移。ZeST利用现有的扩散适配器从示例图像中提取隐式材质表示。该表示可通过使用预训练的修补扩散模型在输入图像的对象上进行材质转移，并结合深度估计作为几何线索以及灰度对象阴影作为照明线索。这种方法适用于实际图像，并且无需进行任何训练，实现了零样本的材质转移。通过在真实和合成数据集上进行定性和定量结果的评估，我们展示了ZeST生成逼真的图像，具有转移后的材质效果。此外，我们还展示了ZeST在多个编辑和不同照明条件下进行鲁棒的材质分配的应用。更多信息可在项目页面https://ttchengab.github.io/zest中找到。