昨天今天明天专题-计算机视觉与图形学008

《Neural 3D Scene Reconstruction with the Manhattan-world Assumption》
本文讨论了从多视图图像重建三维室内场景的挑战。以前的许多工作已经在纹理对象上重建出较好的结果，但它们仍然难以处理室内场景中常见的低纹理平面区域。解决这一问题的一种方法是在基于多视点立体的深度图估计中加入平面约束，但单视点平面估计和深度优化缺乏效率和多视点一致性。在这项工作中，我们证明了平面约束可以方便地集成到最近基于隐式神经表示的重建方法中。具体来说，我们使用MLP网络将有符号距离函数表示为场景几何体。基于曼哈顿世界假设，采用平面约束对二维语义分割网络预测的地板和墙壁区域的几何结构进行正则化。为了解决分割不准确的问题，我们使用另一个MLP对3D点的语义进行编码，并设计了一种新的loss，该loss联合优化了3D空间中的场景几何和语义。在ScanNet和7场景数据集上的实验表明，该方法在三维重建质量上大大优于以前的方法。

论文链接地址：https://arxiv.org/pdf/2205.02836.pdf

《Dual Octree Graph Networks for Learning Adaptive Volumetric Shape Representations》
我们提出了一种三维形状体场的自适应深度表示方法，以及一种学习这种深度表示的有效方法，用于高质量的三维形状重建和自动编码。我们的方法使用八叉树组织的自适应特征体对三维形状的体积场进行编码，并应用紧凑的多层感知器网络将特征映射到每个三维位置的场值。设计了一种基于八叉树节点对偶图上的图卷积学习自适应特征体的编解码网络。该网络的核心是在规则网格上定义一个新的图卷积算子，该算子由不同层次的不规则相邻八叉树节点融合而成，不仅降低了不规则相邻八叉树节点上卷积的计算和存储成本，而且提高了特征学习的性能。我们的方法有效地编码了形状细节，实现了快速的三维形状重建，并且在训练类别之外的三维形状建模方面具有良好的通用性。我们在一组三维形状和场景的重建任务中评估了我们的方法，并验证了它比其他现有方法的优越性。

论文链接地址：https://arxiv.org/pdf/2205.02825.pdf

《BlobGAN: Spatially Disentangled Scene Representations》
我们为场景的生成模型提出了一种无监督的中级表示。这种表示是中级的，因为它既不是每像素也不是每图像；相反，场景被建模为一组空间、深度有序的特征“斑点”。斑点以不同的方式放置在特征网格上，该特征网格由生成性对抗网络解码成图像。由于斑点的空间一致性和卷积固有的局部性，我们的网络学习将不同斑点与场景中的不同实体关联，并排列这些斑点以捕获场景布局。我们通过展示这种行为来证明，尽管在没有任何监督的情况下进行训练，但我们的方法可以实现一些应用，例如轻松操纵场景中的对象（例如移动、移除和重新排列家具），在给定约束条件下创建可行的场景（例如，在特定位置有抽屉的合理房间），以及将真实世界的图像解析为组成部分。在具有挑战性的多类别室内场景数据集上，BlobGAN在FID测量的图像质量方面优于StyleGAN2。

论文链接地址：https://arxiv.org/pdf/2205.02837.pdf

《Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects》

作为人类，我们可以在给定一幅图像的情况下，从任意角度理解和描绘熟悉的场景，而这对计算机来说仍然是一个巨大的挑战。在此，我们提出了一种新的解决方案来模拟这种人类感知能力，该方案基于一种新的amodal 3D场景理解范式，并对封闭场景进行神经渲染。具体来说，我们首先通过离线阶段学习封闭场景中物体的先验知识，这有助于在线阶段理解家具布置不可见的房间。在线阶段，给定不同布局的场景全景图像，我们使用基于神经渲染的优化框架来有效估计正确的三维场景布局，并提供逼真的自由视点渲染。为了处理离线和在线阶段之间的领域差距，我们的方法利用合成神经渲染技术在离线训练中增加数据。在合成数据集和真实数据集上的实验表明，我们的两阶段设计实现了鲁棒的三维场景理解，并优于我们还展示了我们的真实感自由视点渲染支持各种应用，包括场景浏览和编辑。

论文链接地址：https://arxiv.org/pdf/2205.02714.pdf

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

公司项目合作，本科、硕士、博士科研中技术方案讨论，可加我们微信：