Gaussian Splatting杀疯了！最新开源的超强3D场景编辑！

0. 笔者个人体会

3D场景编辑通过文本直接修改场景建模，广泛用于VR/AR、3D建图、游戏建模等应用。但传统的3D编辑方法依赖网格和点云，很难描绘复杂场景，NeRF方案渲染质量高但是速度很慢。

最近3D Gaussian Splatting可谓大火，极大提高了NeRF的渲染速度，目前还在不停地刷新各大任务。感兴趣的读者可以抓紧探索3D Gaussian Splatting在其他CV任务上的应用，目前仍有很大研究空间。

下面一起来阅读一下最近3D Gaussian Splatting在3D编辑上的工作GaussianEditor，文末附论文和代码链接~

这里我们成立了一个NeRF交流群，感兴趣的小伙伴可以进群一起交流。

1. 效果展示

GaussianEditor侧重交互式、通用、高分辨率、快速的3D编辑，在A6000 GPU上只需要2 - 7分钟和10 - 20GB的GPU内存。注意标题提到的"可控"，表示GaussianEditor只修改所需的部分，例如第一行的"使草着火"，场景中的其他物体如凳子、树不受任何影响。

看一下WebGL上的可视化结果，几乎已经是照片级渲染了，而且整个场景的运行帧率非常快！看来游戏建模师又要睡不着觉了~

代码已经开源了，也开放了WebGL可视化界面，感兴趣的读者可以测试一下。

2. 具体原理是什么？

首先简单介绍一下3D Gaussian Splatting（GS），是ACM Transactions on Graphics 2023会议最佳论文。主要思想是将NeRF场景建模为3D高斯，这项工作很大程度上影响了NeRF的走向。最大的亮点是能够在重建高保真NeRF的同时接入传统光栅化，极大加快了渲染速度！

想进一步了解的读者可以关注它们的官网https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting。

而GaussianEditor就是基于GS设计的，首先设计高斯语义跟踪来增强编辑的精度和控制，这个跟踪策略在整个训练过程中用来跟踪编辑目标。然后提出分层高斯分布( HGS ),以在2D扩散模型的随机生成指导下实现稳定和精细的结果。还为GS设计了一种3D修复算法，用来快速移除和添加物体。

3. 和其他SOTA方法对比如何？

看一下和其他方案的对比效果，GaussianEditor最大的亮点是能够在编辑目标的基础上不影响背景（对比Instruct-N2N）。

定量比较，GaussianEditor-iN2N在用户学习评价和CLIP方向相似度上均提升明显。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

4. 论文信息

标题：GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

作者：Yiwen Chen, Zilong Chen, Chi Zhang, Feng Wang, Xiaofeng Yang, Yikai Wang, Zhongang Cai, Lei Yang, Huaping Liu, Guosheng Lin

机构：南洋理工大学、清华大学、SenseTime

原文链接：https://arxiv.org/abs/2311.14521

代码链接：https://github.com/buaacyw/GaussianEditor

官方主页：https://buaacyw.github.io/gaussian-editor/

我是泡椒味的口香糖，专注于CV和SLAM领域。这里有最新的前沿理论，有大佬答疑解惑，还有全网最全的免费视频课程！如果你也是一个人在孤独地摸索学习，那就欢迎扫码加入我们，一起交流学习~

下载1

在公众号「3D视觉工坊」后台，回复 「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。

下载2

在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。

下载3

在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。

高效学习3D视觉三部曲

第一步 加入行业交流群，保持技术的先进性

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。

[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

添加小助理微信：dddvisiona，加群+方向+学校|公司，拉你入群

第二步 3D视觉从入门到精通系统课程

目前3D视觉工坊平台针对各个方向的知识点，打造了多门从理论到实战课程，包括：

• 论文写作课程：三维科研

• 基础入门课程：C++、Linux、相机标定、ROS2、dToF

• 工业3D视觉课程：面结构光、线结构光、散斑结构光、相位偏折术、机械臂抓取、三维点云(PCL和Open3D)、缺陷检测

• SLAM课程：LeGo-LOAM、LOAM、LVI-SAM（激光-视觉-IMU-GPS融合SLAM）、Vins-Fusion、ORB-SLAM3、室内/室外激光SLAM等

• 机器人路径规划与控制课程：机器人规控入门与实践

• 三维重建课程：comlap、MVSNet等

• 自动驾驶课程：多传感器标定、视觉Transformer、单目深度估计、3D目标检测、模型部署等。

注：工坊现面向平台所有读者招募主讲老师，奖励丰厚，具体详情可以可以参考：3D视觉主讲老师招募

3D视觉精品课程，包括工业3D视觉、SLAM、自动驾驶、三维重建、无人机等，地址：www.3dcver.com 贴心小管家微信：cv3d007

第三步 加入知识星球，问题及时得到解答

「3D视觉从入门到精通」知识星球，依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台，星球内除了包含3D视觉独家秘制视频课程（近20门，包括三维重建、三维点云、手眼标定、相机标定、3D目标检测、深度估计、ORB-SLAM3、Vins-Fusion、激光-视觉-IMU-GPS融合、机械臂抓取等）、3D视觉项目对接、3D视觉学习路线、最新论文&代码分享、入门书籍推荐、源码汇总、最新行业模组分享、编程基础&作业、求职招聘&面经&面试题等，更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+，让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口：3D视觉从入门到精通