本文详细介绍了Score Function在机器学习中的应用，包括变分推断和强化学习。Score Function作为最大似然估计的导数，具有期望为0的性质，这在降低梯度估计方差方面起到关键作用。在变分推断中，它用于计算优化问题的梯度，并结合Control Variates降低方差。在强化学习中，Score Function被用于推导REINFORCE算法，优化策略梯度。通过添加baseline，可以进一步降低估计方差，提高优化效率。
引
机器学习中有很多有意思的 Trick，Deepmind 的 Shakir Mohamed (http://blog.shakirm.com) 维护了一个高质量的博客，其中写了一系列的机器学习 Trick，包括 Score Function 和 Reparameterisation。
本文接着上文蒙特卡洛梯度估计方法(MCGE)简述继续深入，单独从 Score Function 这个话题进行介绍。
本文内容主要包括：Score Function 的定义和性质
Score Function 的应用：变分推断和强化学习
Score Function (SF) 介绍
SF的定义
先从最大似然估计(MLE)说起，在学习统计时，最常见的一个操作是通过 MLE 来估计参数，为方便计算一般都采样对数似然函数(Log Likelihood, LL)作为目标函数，如下：
记 L(θ)=log p(x;θ)，求最优的一个最直接方法就是令其对参数的导数为 0，如下：
这里 L(θ) 的一阶导数即为Score Function，记为：
即：求 MLE 相当于求解 Score 方程。如果继续对参数进行求导，会得到另一个非常有价值的量 Fisher Information，如下：
Fi
最低0.47元/天 解锁文章
618
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
