【Gaussian splatting系列学习】（一）

3DGS系列（一）

Splatting 基本理解

定义：

• 一种体渲染的方法：从3D物体渲染到2D平面
• Ray-casting 是被动的（NeRF）：计算出每个像素点受到发光粒子的影响来生成图像
• Splatting是主动的：计算出每个发光粒子如何影响像素点

3dgs 基于2001年的 EWA Volume Splatting

splatting的核心

1. 选择雪球（捏雪球）
2. 抛掷雪球：从3D投影到2D，得到足迹（footprint）
3. 加以合成，形成最后的图像

STEP 1： 捏雪球

为什么使用核（雪球）？

• 点是没有体积的
• 需要给点一个核
• 高斯、圆、正方形……

为什么选择3D高斯椭球？

很好的数学性质：

• 仿射变换后高斯核仍然闭合
• 3D降维到2D后（沿着某个轴积分）仍然为高斯

定义：

• 椭球高斯 $G(x)=\frac{1}{\sqrt{(2\pi {)}^k|\Sigma |}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$
• $\Sigma$ 表示协方差矩阵，半正定，$|\Sigma |$是其行列式

3D gaussian 为什么是椭球？明明是一个分布啊！

椭球的定义：

$\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$

• $A{x}^2+B{y}^2+C{z}^2+2Dxy+2Exz+2Fyz=1$

高斯分布：

• 一维：均值&方差
• 高维：均值&协方差矩阵

协方差矩阵：

• 是一个对称矩阵，决定了高斯分布形状
• 对角线上元素为x轴、y轴、z轴的方差
• 反斜对角线上的值为协方差：表示x和y，x和z，y和z之间的线性相关程度

当$-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$是一个常数的时候，$G(x;\mu ,\Sigma )$ 是一个常数。

一维：$\frac{(x-\mu {)}^2}{{\sigma }^2}$ = constant
二维：$\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{{\sigma }_2^2}-\frac{2{\sigma }_{xy}(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}$ = constant （椭圆）
三维：$\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{{\sigma }_2^2}+\frac{(x-{\mu }_3{)}^2}{{\sigma }_3^2}-\frac{2{\sigma }_{xy}(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}-\frac{2{\sigma }_{xz}(x-{\mu }_1)(z-{\mu }_3)}{{\sigma }_1{\sigma }_3}-\frac{2{\sigma }_{yz}(x-{\mu }_2)(y-{\mu }_3)}{{\sigma }_2{\sigma }_3}$ = constant

对各项进行提取，其实就是：$A{x}^2+B{y}^2+C{z}^2+2Dxy+2Exz+2Fyz=1$，是一个椭球面。
说明：G的范围是[0，1]，G是常数的时候是一个面，而高斯的G是从0-1的连续值，实际上是大椭球壳 套 小椭球壳。实心的椭球。

各向同性&各向异性

各项同性（Isotropic）：

• 在所有方向具有相同的扩散程度（梯度）
• 球
• 3D高斯分布：协方差矩阵是对角矩阵，${\sigma }_x={\sigma }_y={\sigma }_z,{\sigma }_{xy}={\sigma }_{xz}={\sigma }_{yz}=0$

各向异性（Anisotropic）：

• 在不同方向具有不同的扩散程度（梯度）
• 椭球
• 3D高斯分布：协方差矩阵是对角矩阵

协方差矩阵是如何控制椭球形状的？

高斯分布：

• $\mathbf{x}\sim N(\mu ,\Sigma )$
• 均值 $[{\mu }_1,{\mu }_2,{\mu }_3]$
• 协方差矩阵

高斯分布的仿射变换：

• $\mathbf{w}=A\mathbf{x}+b$
• $\mathbf{w}\sim N(A\mu +b,A\Sigma A^T)$

标准的高斯分布：

• $\mathbf{x}\sim N(0,I)$
• 均值 [0, 0, 0]
• 协方差矩阵对角线为1，其余为0

任意高斯可以看做是标准高斯通过仿射变换得到。

协方差矩阵为什么能用旋转和缩放矩阵表达？

高斯分布的仿射变换：

• $\mathbf{w}=A\mathbf{x}+b$

• $\mathbf{w}\sim N(A\mu +b,A\Sigma A^T)$

• $A=RS$(仿射变换就是由旋转、缩放、平移来完成的）

因为任意高斯的协方差矩阵可以看做是标准高斯的协方差矩阵的仿射变换，所以可以写成：
$\Sigma =A\cdot I\cdot A^T=R\cdot S\cdot I\cdot (R\cdot S{)}^T=R\cdot S\cdot S^T\cdot R^T$
所以协方差矩阵可以用旋转和缩放矩阵来表示。

如果已经知道协方差矩阵，如何得到R和S：可以通过特征值分解求解。

---

Reference：B站UP主 SY_007 视频讲解内容