点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！
来源：图灵讨论班
神经辐射场作为近期一个广受关注的隐式表征方法，能合成照片级真实的多视角图像。但因为其隐式建模的性质，用户难以直观编辑神经辐射场建模对象的几何。面对这一问题，最新被IEEE TPAMI接收的论文《Interactive NeRF Geometry Editing with Shape Priors》 [1]提出了一种基于几何分析的交互式神经辐射场编辑方法。目前已有的一些借助显式几何代理的神经辐射场几何编辑方法，如NeRF-Editing [2]，NeuMesh [3]等，一方面无法实现实时编辑，另一方面需要用户对几何网格代理编辑，具有一定的操作门槛。而该论文提出的方法允许用户在自动提取的盒式变形图柄上交互式编辑神经辐射场，并支持自由视角浏览。
项目主页：
http://geometrylearning.com/InteractiveNeRFEditing
Part1 研究目标
神经辐射场隐式建模场景或物体的几何和外观，提供了逼真的重建效果。但对于建模后的模型，其修改或编辑能力同样重要，以满足后续创作或应用需求。现有基于静态神经辐射场的几何编辑方法通常引入显式几何代理，在对显式几何代理编辑后，将几何代理的变化传播到神经辐射场的采样点上，利用光线弯曲实现对渲染结果的修改[2]；或者在几何代理上定义特征，神经辐射场的渲染与这些特征相关联，因此当特征的空间位置随着几何代理的变化而变化后，渲染结果也会发生改变[3]。
该论文提出的交互式编辑方法考虑编辑对象的几何属性，希望在几何编辑过程中保持对象的几何属性，比如对称性。通过引入合成数据先验，提出的方法可以对建模对象进行几何分析，提取抽象盒子表示，语义分割和对称性。将这些几何属性应用于编辑后，用户可以直接利用抽象盒子作为变形图柄编辑神经辐射场几何，减轻用户的编辑负担，如图1所示。提出的方法还能进行变形传播，比如将一个奔跑马的动作序列传播到陶瓷麋鹿模型上，如图2所示。
图1. 交互式编辑神经辐射场几何
图2. 将奔跑马的动作序列传播到陶瓷麋鹿模型上
Part2 研究方法
该论文提出的方法将合成数据先验引入神经辐射场的几何编辑中，并实现交互式编辑和不同模型语义部件的组合，图3展示了方法流程图。
图3. 基于几何分析的神经辐射场编辑方法，同时支持对不同模型的语义部件的组合
几何属性提取：
该方法首先从预训练的神经辐射场网络中提取显式网格表示。由于针对单个重建模型进行几何分析比较困难，所以依靠合成数据集中的形状先验来帮助对真实重建模型的几何分析。首先，结合枚举和迭代最近点（ICP）算法对提取网格执行包括对齐和缩放在内的预处理操作。具体地，将重建模型沿三个轴中的每一个旋转一定角度，然后将随机选取的合成模型缩放到与旋转后的重建模型相似的大小；计算旋转后的重建模型和缩放后的合成模型之间的误差，并选择误差最小的旋转角度对；进一步考虑选择的旋转角度附近的角度，重复上述操作。经过一定次数的重复操作后，使用迭代最近点算法完成最终对齐，完成重建模型到合成模型的匹配。匹配后的模型通过几何分析网络[4][5]获得几何属性，包括抽象盒子表示、语义分割和对称性。
基于几何分析的编辑：
论文提出的方法使用抽象盒子表示作为变形代理对神经辐射场的几何进行交互式编辑。在编辑中同时引入对称性和语义分割信息，可以在用户编辑时保持模型的对称性，并且编辑不会超出对应的语义部分。用户可以对抽象盒子旋转、平移或缩放，这些编辑会先对网格模型变形。具体地，网格的每个顶点找到最近的两个抽象盒子，并将这两个盒子的变换的加权组合作为顶点的变换，其中权重计算为距离的倒数。为了限制编辑在对应的语义部件内，对于网格上的每个顶点，寻找模型点云上的最近点，并将最近点对应的语义标签赋给网格顶点。然后在变换的加权组合中，引入对应语义的抽象盒子，并给该盒子的变换赋予更大的权重。如旋转矩阵可以被计算为：
其中log和exp分别为矩阵的对数和指数操作。此外，系统标记了对称的抽象盒子对，若用户选择保持对称，则与用户编辑的盒子对称的抽象盒子将同时进行相应的变换，从而保持模型的对称性。在将编辑传播到网格后，提出方法使用NeRF-Editing [2]提出的两步传播方法将编辑从网格传播到隐式空间场。具体地，先将三角网格扩大形成包围网格，并从包围网格建立四面体网格，然后利用三角网格的变化对四面体网格进行变形，最后利用四面体网格对光线上的采样点进行偏移，得到变形模型的视角合成结果。
不同模型的语义部件组合：
使用语义分割，还可以将来自不同神经辐射场模型的语义部件组合成一个新的神经辐射场模型，并从任意视角浏览。用户通过标记抽象盒子指定要组合的语义部件，也可以使用抽象盒子调整对应部件的位置和大小，保证合成模型的合理性。渲染组合模型时，每个采样点会从其所在分割部件的有向包围盒对应的神经辐射场网络中获取其密度和颜色值，最后利用体渲染聚合每条光线上所有采样点的颜色，得到视角合成结果。
实时交互式编辑：
为了实现实时渲染，引入iNGP [6]中的多分辨率哈希编码结构。进一步地，只在网格表面附近或有向包围盒内部采样，大大减少了光线采样点的数量，加快了渲染速度。
Part3 实验效果
图4展示了提出方法在不同椅子上的基于几何分析的编辑结果，这些编辑都使用了对称性。第一列是抽象盒子表示在编辑前后的可视化。可以看到，使用提取的盒式变形图柄能对模型进行不同的几何编辑，并能很好地保持模型的对称性。
图4. 提出方法在不同椅子上的基于几何分析的编辑结果
图5展示了在其他类别物体上的编辑结果，编辑时没有使用对称性。用户可以将站立长颈鹿改为奔跑姿势，也能改变桌腿的朝向，使其更有设计感。
图5. 对其他类别物体的编辑结果
图6展示了将不同模型的语义部件组合成新模型的结果。用户可以交换两把椅子的上半部分和下半部分，生成两把新椅子；也可以在两个不同类别的物体，麋鹿和桌子之间组合，将鹿腿用于支撑桌面，构成一个充满创意的桌子模型。
图6. 不同模型的语义部件的组合结果
该方法也与NeRF-Editing进行了对比，在对称性保持上具有优势；同时也进行了消融实验，在编辑中不使用语义分割信息会导致编辑超出所属语义部件范围，产生不自然的编辑效果；不使用对称属性会和NeRF-Editing类似，编辑结果难以保持原有的对称性，如图7所示。
图7. 与NeRF-Editing方法的对比以及消融实验
Part4 总结和展望
该工作将合成数据集先验引入到真实神经辐射场模型的几何编辑中，实现基于几何分析的编辑方法，能自动提取变形图柄方便用户操作，编辑时保持模型的几何属性。借助提取的语义分割，提出的方法还能实现语义部件级的神经辐射场组合。在未来可以探索如何在神经辐射场中直接进行几何分析，不会因为合成数据先验限定物体类别。同时，结合一些材质光影解耦的方法，在几何编辑时相应地改变光影。
参考文献
[1] Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Leif Kobbelt, Lin Gao*, Interactive NeRF Geometry Editing with Shape Priors, IEEE TPAMI 2023.
[2] Yu-Jie Yuan#, Yang-Tian Sun#, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Lin Gao*, NeRF-Editing: Geometry editing of neural radiance fields, IEEE CVPR 2022.
[3] Chong Bao and Bangbang Yang, Junyi Zeng, Hujun Bao, Yinda Zhang, Zhaopeng Cui, Guofeng Zhang, Neumesh: Learning disentangled neural mesh-based implicit field for geometry and texture editing, European Conference on Computer Vision (ECCV), 2022.
[4] Kaizhi Yang and Xuejin Chen, Unsupervised learning for cuboid shape abstraction via joint segmentation from point clouds, ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–11, 2021.
[5] Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, Leif Kobbelt, PRS-Net: Planar reflective symmetry detection net for 3D models, IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 6, pp. 3007–3018, 2020.
[6] Thomas Müller, Alex Evans, Christoph Schied, Alexander Keller, Instant neural graphics primitives with a multiresolution hash encoding, ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 102:1–102:15, 2022.
CVPR / ICCV 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集NeRF和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-NeRF或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如NeRF或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
