极大似然估计

贝叶斯决策

我们都知道经典的贝叶斯公式：
$$p(w|x)=\frac{p(x|w)p(w)}{p(x)}$$

• x指事件，w指类别
• p(w)为先验概率，表示每种类别分布的概率
• p(x|w)为类条件概率，在某种类别的条件下，事件x发生的概率
• p(w|x)为后验概率，表示事件x发生的情况下，类别是w的概率

举个例子理解下上面三个概念：
例子：夏天男性穿凉鞋的比例为1/2，女性穿拖鞋的比例为2/3，男女的比例2:1，如果遇到一个穿凉鞋的人，男性和女性的概率是多少？
假设男性为$w_1$，女性为$w_2$，穿凉鞋为x。根据贝叶斯公式，$p(w_1)=\frac{p(x|w_1)p(w)}{p(x)}$
我们要计算穿凉鞋发生的情况下，男性类别的概率，只需要再计算p(x)。p(x)包含两种情况，我们认为男性和女性穿凉鞋的概率是独立的。
$$p(x)=p(x|w_1)p(w_1)+p(x|w_2)p(w_2)=1/2\ast 2/3+2/3\ast 1/3=5/9$$
则穿凉鞋的人是男性的概率$$p(w_1|x)=\frac{p(x|w_1)p(w)}{p(x)}=\frac{1/2\ast 2/3}{5/9}=3/5$$

上述情况是比较理想的，通常我们不知道先验概率和类条件概率。

• 先验概率可以用训练样本中各类出现的频率估计。
• 类条件概率的估计比较难，原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是，把估计完全未知的概率密度$p(x|w_i)$转化为估计参数。这里就将概率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。

极大似然估计

最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。再明确些，就是根据已知的样本结果，求样本集的概率密度函数的参数。
举个例子：有两个外形完全相同的箱子，甲箱子有99只白球，1只黑球；乙箱子有99只黑球，1只白球，一次实验从两个箱子取出一球，是黑球。问：黑球从哪个箱子取出？
我们第一印象，最像乙箱子取出的，这个最像就是最大似然之意，成为最大似然原理。
假设一个样本集D的样本独立同分布，可以通过 D = { x 1 , x 2 , x 3 , . . . , x N } D=\{x_1,x_2,x_3,...,x_N\} D={x1​,x2​,x3​,...,xN​}估计参数向量$\theta$，使得似然函数最大。
似然函数为：联合概率密度函数$p(D|\theta )$
$$l(\theta )=p(D|\theta )=p(x_1,x_2,...,x_N|\theta )=\prod _{i=1}^{N}p(x_i|\theta )$$

从上式可以看出联合概率密度函数=所有概率相乘，引出了极大似然估计的前提：

• 训练样本的分布想要代表样本的真实分布：每个样本集中的样本都是独立同分布的随机变量 (iid条件)，且有充分的训练样本。

似然函数还有两种形式，对于求解而言是等价的。
$$\begin{gathered} p(x_1,x_2,...,x_N|\theta )=\prod _{i=1}^{n}p(x_i|\theta {)}^{nu{m}_i} \\ l(\theta )=\prod _{i=1}^{n}p(x_i|\theta {)}^{\frac{nu{m}_i}{N}} \end{gathered}$$

如果向量$\hat{\theta }$能使似然函数$l(\theta )$最大，则$\hat{\theta }$就是$\theta$的极大参数估计量。它是样本集的函数记作
$$\hat{\theta }=d(x_1,x_2,...,x_N)=d(D)$$

求解极大似然函数

求使得出现该组样本的概率最大的$\theta$
$$\hat{\theta }=argmaxl(\theta )=argmax\log (\prod _{i=1}^{N}p(x_i|\theta ))=argmax\sum _{i=1}^N\log p(x_i|\theta )$$
当$\theta$是一个值，在似然函数满足连续，可微的正则条件下，极大似然估计量是$\frac{dl(\theta )}{d\theta }=0$的解。
当$\theta$是一个向量，$\theta =[{\theta }_1,{\theta }_2,...,{\theta }_S{]}^T$.记梯度算子$${\nabla }_{\theta }=[\frac{\partial }{\partial {\theta }_1},\frac{\partial }{\partial {\theta }_2},...,\frac{\partial }{\partial {\theta }_s}{]}^T$$
若似然函数满足连续可导的条件，则最大似然估计量就是${\nabla }_{\theta }ln(\theta )=0$的解

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

完整例子充分理解

已知口袋中有10个球，球可能是白色或黑色。每次抽取一个球，记录颜色后放回口袋。
如果抽取10次，白球出现7次，黑球出现3次，问口袋里最有可能的白球总数量。

将抽球结果作为X，即离散随机变量，设白球为X=1，黑球为X=0 。假设抽到白球的概率为$\theta$，$\theta$ 即是未知的需要通过极大似然估计得出的参数。

写出似然函数： $L(\theta |x)=P(x,\theta )={\theta }^x\ast (1-\theta {)}^{1-x}$ 可知当捡到白球，概率密度函数为$\theta$，捡到黑球，密度函数$1-\theta$
对于10次有放回抽球可以认为是10次独立事件，其符合二项分布。
对于二项分布，出现符合观测情况的，白球出现7次，黑球出现三次的概率密度函数为
$$P(X,\theta )=\prod _{i=1}^{10}P(x,\theta )=P(x_1,\theta )\ast P(x_2,\theta )\ast ...\ast P(x_{10},\theta )={\theta }^7\ast (1-\theta {)}^3$$
写成似然函数形式
$$L(\theta |X)=P(X,\theta )={\theta }^7\ast (1-\theta {)}^3$$
求对数，求导：
$$dln(L(\theta ))/d\theta =7/\theta -3/(1-\theta )$$
解得$\theta$=0.7，似然函数取得最大值。因此我们认为白球占总数70%时，10次抽球最可能出现7次白球。

极大似然函数、最小二乘、交叉熵之间的联系

总结

求解极大似然估计量

• 1.根据概率密度函数写出似然函数
• 2.对似然函数取对数，整理
• 3.求导数
• 4.解似然方程

特点

最大似然估计的特点：

• 1.比其他估计方法更加简单；
• 2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；
• 3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

本文仅记录，未完待续…
极大似然估计详解