机器学习笔记（四）——最大似然估计

一、最大似然估计的基本思想

最大似然估计的基本思想是：从样本中随机抽取n个样本，而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法，它用来求一个样本集的概率密度函数的参数。

二、似然估计

在讲最小二乘法的时候，我们的例子是奥运会男子100m金牌所需要的时间，通过最小二乘法，我们求得了我们的模型参数。但是我们的模型目前预测的只是一个特定的值。实际上，所有的模型都有误差，也就是噪声。所以，我们需要思考如何产生与我们观察到的数据相似的数据。定义新的模型如下：

$$t_n = \boldsymbol{\omega}^T\boldsymbol{x}_n+\varepsilon_n$$

假设误差$\varepsilon$是独立的、连续的、而且服从正态分布。即上式满足：

$$\varepsilon_n \sim N(0, \sigma^2)$$

给高斯随机变量添加一个常量等同于具有相同常量转换来的均值的另一个高斯随机变量：

$$y = a + z \\ p(z) = N(m, s) \\ p(y) = N(m+a, s) \\ $$

则 $p(t_n|\boldsymbol{x_n, \omega, }\sigma^2) = N(\boldsymbol{\omega}^T\boldsymbol{x}_n, \sigma^2)$, 这里我们需要确定两个值: $\omega, \sigma^2$的最优值。

对于给定的$\omega, t_n$是独立的，也就是说观测值是独立的。那么，整个数据集的似然值为：

$$L = p(\boldsymbol{t|x_n, \omega, }\sigma^2) = \prod_{n=1}^Np(t_n|\boldsymbol{x_n, \omega, }\sigma^2) =\prod_{n=1}^NN(\boldsymbol{\omega}^T\boldsymbol{x}_n, \sigma^2)$$

最大化似然值即最大化似然对数，所以上式等价于求$w 和 \sigma^2$的最大似然解使得$log L$最大。
则通过求解：

$$\frac{\partial{log L}}{\partial{\boldsymbol{\omega}}} = \boldsymbol{0}(1)\\ \frac{\partial{log L}}{\partial{\sigma}}=0(2)$$

求解的过程略过，得到$\boldsymbol{\omega}和\hat{\sigma^2}$的最大似然解:

$$\boldsymbol{\hat{\omega}=(X^TX)^{-1}X^Ty}\\ \hat{\sigma^2} = \frac{1}{N}(\boldsymbol{t}^T\boldsymbol{t}-\boldsymbol{t}^T\boldsymbol{X\hat{\omega}})$$

求解最大似然函数的一般步骤为：
1. 写出似然函数
2. 写出对数似然函数，并整理
3. 求导数
4. 解似然方程