Stochastic Back Propagation (Reparametrization Trick)
本章主要介绍的是,神经网络用 函数逼近器,那么我们将想想神经网络和概率图模型之间有什么关系呢?能不能用NN去逼近一个概率分布 呢?把他们两结合到一起就是随机后向传播,或者称之为重参数技巧。
正常情况下简单举例
假设 是目标分布,其中 。我们之前是怎么采样的呢?是先从一个简单的高斯分布中进行采样 ,然后令 ,就相当于一个二元一次变换。这样就可以得到采样方法:
本章主要介绍的是,神经网络用 函数逼近器,那么我们将想想神经网络和概率图模型之间有什么关系呢?能不能用NN去逼近一个概率分布 呢?把他们两结合到一起就是随机后向传播,或者称之为重参数技巧。
假设 是目标分布,其中 。我们之前是怎么采样的呢?是先从一个简单的高斯分布中进行采样 ,然后令 ,就相当于一个二元一次变换。这样就可以得到采样方法: