Deblurring 3D Gaussian Splatting

一、核心贡献

1. 联合优化去模糊与重建：
   通过小型MLP动态调整3D高斯的协方差矩阵（形状参数），直接在3D空间建模模糊效应（如运动模糊和焦外模糊），训练时模拟模糊，推理时仅用原始高斯渲染清晰图像。

2. 稀疏点云补偿技术：

   • KNN插值补点：在训练过程中为稀疏区域添加带有效颜色特征的新点。

   • 深度自适应剪枝：根据深度调整高斯剪枝阈值，保留远景更多高斯点。

3. 实时性保障：
   MLP仅在训练时激活，推理阶段与原始3D-GS完全一致，因此渲染速度仍能保持800 FPS以上。

二、框架图解释

        结合下图解释方法流程：图片展示了基于3D高斯泼溅（3DGS）的去模糊框架工作流程，具体步骤如下：

1. 3D高斯参数定义

        每个3D高斯由以下参数唯一表征（对应图中左侧输入）：

        位置 (x)：高斯的3D空间坐标。

        四元数(r)：控制高斯的旋转，与缩放 (s) 共同构成协方差矩阵 (∑(r,s))。

        缩放 (s)：决定高斯的形状尺寸（各向异性缩放）。

        球谐函数（SH）：编码视角相关的颜色外观（图中未显式标注，但隐含在光栅化过程中）。

2. 输入数据

        相机位姿：通过SfM（运动恢复结构）从多视角模糊图像中估计。

        点云：SfM生成的稀疏点云作为初始3D高斯分布的基础。

        模糊图像：训练用的输入图像，可能包含散焦模糊或相机运动模糊。

3. MLP驱动的模糊建模

        通过轻量MLP动态调整高斯参数，分为两类模糊处理：

    (1) 散焦模糊建模（虚线箭头路径）

        输入：第(j)个高斯的参数 (xj, rj, sj) 经过位置编码γ (·) 后输入MLP。

        输出：MLP预测缩放因子 (δ rj) 和 (δ sj)。

        参数更新：  

        光栅化：更新后的高斯输入分块光栅化器，生成散焦模糊图像。

    (2) 相机运动模糊建模（点线箭头路径）

        输入：同散焦模糊，但MLP额外预测位置偏移 (δ xj(i))。

        输出：对第(j)个高斯生成(M)组参数 {δ xj(i), δ rj(i), δ sj(i)}i=1M，每组对应相机曝光期间的一个时刻。

        参数更新： 

多帧平均：光栅化器生成M张清晰图像后取平均(⊕操作），模拟相机运动模糊效果。

4. 推理阶段（实线箭头路径）

        仅使用原始参数：推理时MLP不激活，直接使用未调整的原始高斯参数 {xj, rj, sj} 进行光栅化，生成去模糊后的清晰图像。

        实时性保障：由于无需MLP计算，渲染速度与原始3DGS一致（>800 FPS）。

5. 关键符号解读

        γ (·)：位置编码，将低维坐标映射到高维空间以增强MLP表达能力。

        ⊙：逐元素相乘，用于局部调整高斯参数。

        ⊕：平均操作，用于融合多帧运动模糊结果。

        ⊗：复合操作符，统一表示参数更新过程

三、点补偿算法解释

        针对模糊输入图像导致SfM（运动恢复结构）生成的点云P过于稀疏的问题，本算法通过K近邻插值在稀疏区域添加新点，提升3D高斯重建的完整性和细节质量。

        输入参数:

        P：SfM生成的初始稀疏点云。

        K：为每个新增点寻找的最近邻点数（默认K=4）。

        Np​：需生成的新增点数（根据场景范围自适应计算，上限20万）。

        td​：新增点与最近邻点的最小距离阈值（默认td=2），用于过滤无效点。

        关键设计动机:

        稀疏区域补偿:模糊图像导致SfM特征点提取失败，尤其在景深较大的区域（如远景）。通过插值增补点，确保3D高斯覆盖完整场景。

        颜色一致性:新点颜色通过邻近点插值获得，避免随机初始化引入噪声，保持材质连续性。

        距离过滤:阈值td防止在无真实表面的区域（如纯背景）添加点，控制点云密度合理性。 

深度自适应剪枝效果
左：原始高斯；中：传统剪枝；右：深度自适应剪枝（远景保留更多点） 

 四、结果展示

1. 定量对比

        关于真实离焦模糊数据集的定量测试结果如下：

        在PSNR、SSIM和FPS下测试的真实相机运动模糊数据集的定量测试结果如下：

2. 定性对比

        真实相机运动模糊数据集的定性结果如下：

        更多测试结果如下所示： 

链接：https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/tting 

五、总结讨论 

         该文章提出了一种突破传统流程的3D场景重建方法，直接在3D高斯喷溅（Gaussian Splatting）表示中联合优化去模糊与重建，而非先处理2D图像再重建3D场景。利用点云的高斯喷溅（Gaussian Splatting）技术，将场景表示为具有位置、颜色、透明度和形状参数的3D高斯核。同时在模型中学习模糊核，实现场景的同时去模糊和三维重建。