统计知识点 - 变量代换

介绍一个很有用的知识点—— 变量代换 (变量替换；change of variables):

定理

$X$ 是定义在 $({\mathbb{R}}^p,\mathcal{B}({\mathbb{R}}^p))$上的 随机向量，他的 cdf 是 $F_X$，density 是 $f_X$。假设存在一个变换 $g$，$Y=g(X)$，使得 $Y$ 也是 $({\mathbb{R}}^p,\mathcal{B}({\mathbb{R}}^p))$ 上的随机向量。这里，$g$ 是一个 1-1 的映射且存在连续的偏导数 (i.e., $g\in C^1$)。定义 Jacobian矩阵 $J(x\to y)=(\frac{\partial x_i}{\partial y_j}{)}_{ij}=(\frac{\partial g_i^{-1}(y)}{\partial y_j}{)}_{ij}$。那么，我们有
$$f_Y(y)=f_X(g^{-1}(y))|J(x\to y)|.$$

一个 informal 证明

对任意的函数 $h:{\mathbb{R}}^p\to \mathbb{R}$，我们有
$$E[h(Y)]=E[h(g(X))]=\int \cdots {\int }_{\mathbb{R}}h(g(x))f_X(x)d{x}_{1}d{x}_2\cdots d{x}_p\stackrel{x=g^{-1}(y)}{=}\int \cdots {\int }_{\mathbb{R}}h(y)f_X(g^{-1}(y))\left|J(x\to y)\right|d{y}_{1}d{y}_2\cdots d{y}_p.$$最后一个等式是 principle of multiple integrals 的结果。因此，自然有 $f_Y(y)=f_X(g^{-1}(y))|J(x\to y)|$。

例子 - Polar Transformation of Gaussian

假设 $X_1$ 和 $X_2$ 是随机变量且有
$$\left(\begin{array}{l}{X}_1\\ X_2\end{array}\right)\sim N_2\left(\left(\begin{array}{l}{\mu }_1\\ {\mu }_2\end{array}\right),\left(\begin{array}{ll}1& 0\\ 0& 1\end{array}\right)\right).$$
令 $X_1=R\cos \theta$，$X_2=R\sin \theta$。同样地，我们有 $R^2=X_1^2+X_2^2$，$\tan \theta =\frac{X_2}{X_1}$。如果我们定义 $g:(X_1,X_2)\to (R,\theta )$，显然 $g$ 不是 1-1 的，因为 $(R,\theta )$ 和 $(-R,\theta +2\pi )$ 有同样的原像。因此我们把 $(R,\theta )$ 的取值限制在 $\Omega =[0,+\infty ]\times [0,2\pi ]$ 上，这样 $g:\mathbb{R}\times \mathbb{R}\to \Omega$ 就是 1-1 的了。由第一节的定理，我们有 $J((x_1,x_2)\to (r,\theta ))=\left(\begin{array}{ll}\frac{\partial x_1}{\partial r}& \frac{\partial x_1}{\partial \theta }\\ \frac{\partial x_2}{\partial r}& \frac{\partial x_2}{\partial \theta }\end{array}\right)=\left(\begin{array}{rr}\cos \theta & -r\sin \theta \\ \sin \theta & \cos \theta \end{array}\right).$ 因此 $|J((x_1,x_2)\to (r,\theta ))|=r$. 于是，$(R,\theta )$ 的联合分布为
$$f_{R,\theta }(r,\theta )=f_{X_1,X_2}(r\sin \theta ,r\cos \theta )\cdot r=\frac{r}{2\pi }\exp (-0.5(r\sin \theta -{\mu }_1{)}^2-0.5(r\cos \theta -{\mu }_2{)}^2).$$ 如果 ${\mu }_1={\mu }_2=0$，$f_{R,\theta }$ 简化为
$$f_{R,\theta }(r,\theta )=\frac{r}{2\pi }\exp (-0.5r^2).$$ 简单计算一下：
$${\int }_0^{\infty }r\exp (-0.5r^2)=1.$$Perfect。所以，$R$ 的 marginal density 是
$$f_R(r)=\frac{r}{2\pi }\exp (-0.5r^2)，$$ $\theta$ 在 $[0,2\pi ]$ 上均匀分布。