Score Function Trick及其在机器学习中的应用

引

机器学习中有很多有意思的 Trick，Deepmind 的 Shakir Mohamed ( http://blog.shakirm.com ) 维护了一个高质量的博客，其中写了一系列的机器学习 Trick，包括 Score Function 和 Reparameterisation。

本文接着上文

本文内容主要包括：

• Score Function 的定义和性质 

• Score Function 的应用：变分推断和强化学习

Score Function (SF) 介绍

SF的定义  

先从最大似然估计（MLE）说起，在学习统计时，最常见的一个操作是通过 MLE 来估计参数，为方便计算一般都采样对数似然函数（Log Likelihood, LL）作为目标函数，如下：

记 L(θ)=log p(x;θ)，求最优的一个最直接方法就是令其对参数的导数为 0，如下：

这里 L(θ) 的一阶导数即为Score Function，记为：

即：求 MLE 相当于求解 Score 方程。如果继续对参数进行求导，会得到另一个非常有价值的量 Fisher Information，如下：

Fisher Information 经常用来衡量样本信息量，是一个非常有价值的指标（后面专门写一篇介绍 Fisher Information 的文章）。由上式可以看出，Fisher 信息量是 Score Function 的负导数。

SF的性质