昨天今天明天专题-计算机视觉与图形学001

COORDX：使用分裂MLP架构加速隐式神经表示
COORDX ACCELERATING IMPLICIT NEURAL REPRESENTATION WITH A SPLIT MLP ARCHITECTURE

最近，多层感知器（MLP）隐式神经表示在各种各样的任务中得到了突出的应用，例如新的视图合成、三维对象表示和渲染。然而，这些表示法的一个重大挑战是，使用MLP在大量输入坐标上进行训练和推理，以学习和表示图像、视频或3D对象，都需要大量计算，并且需要较长的处理时间。在这项工作中，我们的目标是通过提出一种新的拆分MLP体系结构CoordX，来加速基于坐标的隐式神经表征MLP的推理和训练。使用CoordX来拆分初始层，分别学习输入坐标的每个维度。最后一层融合中间特征，在相应的坐标点生成学习信号。这大大减少了所需的计算量，并导致了较大的加速在训练和推理中，同时达到与基线MLP类似的准确性。因此，这种方法的目标是首先学习原始信号分解后的函数，然后融合它们以生成学习信号。我们提出的结构可以普遍用于许多隐式神经表征任务，而不需要额外的内存开销。我们展示了与用于图像、视频和三维形状表示和渲染任务的基线模型相比，高达2.92倍的加速比。

Eikonal Fields for Refractive Novel-View Synthesis
我们解决了从显示折射和反射对象的2D图像集合中生成新视图图像的问题。目前的解决方案假设沿着发射-吸收模型的直线路径进行不透明或透明的光传输。相反，我们优化了一个3D可变折射率（IoR）场，并根据eikonal光传输定律，跟踪通过该场的光，该场向所述IoR的空间梯度弯曲。

CLA-NeRF: Category-Level Articulated Neural Radiance Field

我们提出了CLA NeRF——一个神经辐射场，可以执行视图合成、零件分割和关节姿势估计。CLA NeRF在对象类别级别使用无CAD模型和无深度的RGB图像进行训练，但使用一组具有地面真实感相机姿势和零件段的RGB图像。在推理过程中，只需要已知类别内一个看不见的3D对象实例的几个RGB视图（即，几个快照）就可以推断出对象部分分割和神经辐射场。给定一个铰接姿势作为输入，CLA NeRF可以执行铰接软件体绘制，以在任何相机姿势下生成相应的RGB图像。此外，可以通过反向渲染来估计对象的关节姿态。在我们的实验中，我们对合成和真实数据的五个类别的框架进行了评估。在所有情况下，我们的方法显示逼真的变形结果和精确的关节姿势估计。我们认为，无论是少镜头铰接对象渲染还是铰接姿势估计，都为机器人感知和交互看不见的铰接对象打开了大门。请看https://bit.ly/3iWoque对于定性结果。

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

如果您认为上面的内容对您有一定的价值，可以对我们进行小小的赞助，来支持我们的工作，因为后续打算构建自己的网站，谢谢：