雅克比变换
最近在读变分推理论文Variational Inference with Normalizing Flows.时,涉及到了雅克比变换相关知识,也就是下式的分布的变换。
当
z
′
=
f
(
z
)
z'=f(z)
z′=f(z)且
q
q
q表示分布函数时:
这里补充记录下雅克比变换的数学知识。当我们知道x的概率分布时,雅可比变换是一种确定变量y的概率分布的代数方法,其中y是关于x的函数。首先定义:
- 变量x的概率密度函数为 f ( x ) f(x) f(x),累积分布函数为 F ( x ) F(x) F(x);
- 变量y的概率密度函数为 f ( y ) f(y) f(y),累积分布函数为 F ( y ) F(y) F(y);
- y与x具有函数关系,且呈单调递增
那么我们认为累积分布函数的变化是一致的:
d F ( y ) = d F ( x ) dF(y)=dF(x) dF(y)=dF(x)
从而有:
∣ f ( y ) d y ∣ |f(y)dy| ∣f(y)dy∣= ∣ f ( x ) d x ∣ |f(x)dx| ∣f(x)dx∣
重构之后,可以得到:
f ( y ) = ∣ d x d y ∣ f ( x ) f(y) =\left | \frac{dx}{dy} \right | f(x) f(y)=∣∣∣dydx∣∣∣f(x) 其中, ∣ d x d y ∣ \left | \frac{dx}{dy} \right | ∣∣∣dydx∣∣∣就是神奇的Jacobian(雅克比行列式)
综上所述,我们也会很容易理解论文里的推导。