机器学习中的数学——连续型随机变量的变换

分类目录：《算法设计与分析》总目录

---

连续型随机变量的另一技术细节，涉及到处理那种相互之间有确定性函数关系的连续型变量。偎设我们有两个随机变量$x$和$y$满足$y=g(x)$，其中$g$是可逆的且连续可微的函数。可能有人会想$p_y(y)=p_x(g^{-1}(y))$。但实际上这并不对。

举一个简单的例子，假设我们有两个标量值随机变量$x$和$y$，并且满足$y=\frac{x}{2}$以及$x\sim U(0,1)$。如果我们使用$p_y(y)=p_x(2y)$，那么$p$除了区间0，是以外都为0，并且在这个区间上的值为1。这意味着：
$$\int p_y(y)dy=\frac{1}{2}$$

而这违背了概率密度积分为1的定义。这个常见错误之所以错是因为它没有考虑到引入函数$g$后造成的空间变形。回忆一下，$x$落在无穷小的体积为$\delta x$的区域内的概率为$p(x)\delta x$。因为$g$可能会扩展或者压缩空间，在$x$空间内的包围着$x$的无穷小体积在$y$空间中可能有不同的体积。

为了看出如何改正这个问题，我们回到标量值的情况。我们需要保持下面这个性质：
$$|p_y(g(x))dy|=|p_x(x)dx|$$

求解上式，我们得到：
$$p_y(y)=p_x(g^{-1}(y))|\frac{\partial x}{\partial y}|$$

或者等价地：
$$p_x(x)=p_y(g(x))|\frac{\partial g(x)}{\partial x}|$$

在高维空间中，微分运算扩展为Jacobian矩阵的行列式——矩阵的每个元素为$J_{i,j}=\frac{\partial x_i}{\partial y_j}$。因此，对于实值向量$x$和$y$：
$$p_x(x)=p_y(g(x))|\text{det}(\frac{\partial g(x)}{\partial x})|$$