【Gaussian splatting系列学习】（二）

3DGS系列（一）
3DGS系列（二）
3DGS系列（三）

NeRF中使用的相机模型：

• 世界坐标系
• 相机坐标系
• 归一化坐标系
• 像素坐标系

CG中更常用的变换：

1. 观测变换（世界坐标系到相机坐标系）

   “横看成岭侧成峰，远近高低各不同”，实际上是仿射变换 w=Ax+b

2. 投影变换（从相机坐标系到2D的空间）：
   3D到2D，正交投影与z无关，透视投影与z相关

3. 视口变换

4. 光栅化
   

可参考《GAMES101-现代计算机图形学入门-闫令琪》

正交投影：

• 立方体：$[l,r]\times [b,t]\times [f,n]$
• 平移到原点
• 立方体缩放到$[-1,1{]}^3$的正方体
• 仿射变换

透视投影：

• 远小近大
• 先把锥体压成立方体
• 再正交投影

问题：

• 透视投影是非线性的，即非仿射变换
• 我们希望高斯椭球一直进行仿射变换

不管是正交投影还是透视投影，最后得到一个单位正方体，下面要把它拉回最开始想要的h,w
进行拉伸：

• 和z无关
• 将$[-1,1{]}^2$的矩阵变换至[0,w] x [0,h]

光栅化：
定义：

• 把东西画在屏幕上
• 连续转离散
• 使用的方法：采样
  

3D高斯的观测变换

物理坐标系（世界坐标系）：

• 高斯核中心 $t_k=[t_0{t}_1{t}_2{]}^T$
• 高斯核：$r_k^{{}^{\prime \prime }}(t)=G_{V_k^{{}^{\prime \prime }}}(t-t_k)$
• $V_k^{{}^{\prime \prime }}$是协方差矩阵

相机坐标系：

$u=\varphi (t)=Wt+d$

• 高斯核中心 $u_k=[u_0{u}_1{u}_2{]}^T$
• 高斯核：$r_k^{{}^{\prime \prime }}(u)=G_{V_k^{{}^{\prime \prime }}}(u-u_k)$
• 均值 $u_k=W{t}_k+d$
• 协方差矩阵 $V_k^{{}^{\prime }}=W{V}_k^{{}^{\prime \prime }}{W}^T$

投影变换：
投影变换矩阵：$x=m(t)$，非线性

• 高斯核中心 $x_k=[x_0{x}_1{x}_2{]}^T$
• 高斯核：$r_k(x)=G_{V_k}(x-x_k)$
• 均值 $x_k=m(u_k)$（一个点可以用非线性变换）
• 协方差矩阵？

为什么要引入雅克比矩阵？

协方差矩阵可以直接使用投影变换吗？

• 不可以
• 从透视投影到正交投影
• 非线性变换，非仿射

怎么办？

• 引入雅克比近似矩阵。

雅克比矩阵

keywords:

• 泰勒展开
• 线性逼近
  
  坐标变换：
• $f_1(x)=x+sin(y)$
• $f_2(y)=y+sin(x)$
  
  雅克比矩阵： $$J=\left[\begin{array}{ll}\frac{d{f}_1}{dx}& \frac{d{f}_1}{dy}\\ \frac{d{f}_2}{dx}& \frac{d{f}_2}{dy}\end{array}\right]=\left[\begin{array}{cc}1& \cos (y)\\ \cos (x)& 1\end{array}\right]$$

理解：对非线性变换的局部线性近似

协方差矩阵：$V_k=J{V}_k^{{}^{\prime }}{J}^T$ （用雅克比矩阵代替仿射变换矩阵）

再结合观测变换：$V_k=J{V}_k^{{}^{\prime }}{J}^T=JW{V}_k^{{}^{\prime \prime }}{W}^T{J}^T$

$J=\frac{\partial m(u_k)}{\partial u}$ （求导）

此时均值和协方差在一个坐标系里吗？
均值：在NDC坐标系，范围[-1,1]的立方体内
协方差矩阵：在未缩放的正交坐标系里，不需要再做视口变换，范围是[l,r] x [b,t] x [f,n]

投影变换的雅克比矩阵

所以通过投影变换，原来的$[x,y,z{]}^T$ 变成了 ：(n=near, f=far)
求导得到雅可比矩阵。

视口变换：

像素坐标系

• 对高斯核中心进行平移+缩放

• 足迹渲染：离散计算

  距离均值越近，值越大。

  $G(\hat{x})=exp(-\frac{1}{2}(x-\mu {)}^T{V}_k^{-1}(x-\mu ))$

Code:

3D高斯中心的变换：

3D高斯协方差的变换：
mean：世界坐标系的中心点

下一步，需要计算雪球的颜色。

Reference：B站UP主 SY_007 视频讲解内容

$$Author:Chier$$