Gaussian Splatting中的协方差3维到2维投影公式之详细解析

本文回答两个问题：

${\Sigma }_{2D}=JW{\Sigma }_{3D}{W}^T{J}^T$这个公式是怎么来的？

$J$的公式是如何推导出来的呢？

$$J=\left(\begin{array}{ccc}\frac{f_x}{z}& 0& -\frac{f_x\cdot x}{z^2}\\ 0& \frac{f_y}{z}& -\frac{f_y\cdot y}{z^2}\\ 0& 0& 0\end{array}\right)$$

射线空间和相机空间

1. 射线空间坐标系 $\mathbf{x}=(x_0,x_1,x_2{)}^T$:

   • $(x_0,x_1)$ 表示投影平面上的一个点
   • $x_2$ 表示从投影中心到视线上点的欧几里得距离

2. 相机空间坐标系 $\mathbf{u}=(u_0,u_1,u_2{)}^T=(x,y,z{)}^T$:

   • 原点位于投影中心
   • 投影平面是 $z=f$ 平面

两个坐标系之间的投影变换公式:

从相机空间到射线空间 $\mathbf{m}(\mathbf{u})$:
$$\left(\begin{array}{c}{x}_0\\ x_1\\ x_2\end{array}\right)=\mathbf{m}(\mathbf{u})=\left(\begin{array}{c}{u}_0/u_2\\ u_1/u_2\\ \Vert (u_0,u_1,u_2{)}^T\Vert \end{array}\right)$$

从射线空间到相机空间 ${\mathbf{m}}^{-1}(\mathbf{x})$:
$$\left(\begin{array}{c}{u}_0\\ u_1\\ u_2\end{array}\right)={\mathbf{m}}^{-1}(\mathbf{u})=\left(\begin{array}{c}{x}_0/l\cdot x_2\\ x_1/l\cdot x_2\\ f/l\cdot x_2\end{array}\right)$$
其中 $l=\Vert (x_0,x_1,f{)}^T\Vert$

这样的话，在射线空间中的$(x_0,x_1,x_2$