极大似然估计 && 贝叶斯分类

极大似然估计 && 贝叶斯分类

贝叶斯分类

经典贝叶斯公式：

其中：为先验概率，表示类别的分布；为类条件概率，表示类别下发生的概率；为后验概率，表示发生了，它属于类别的概率。

后验概率越大，表示属于某类别的可能性越大，因此可以利用后验概率进行样本的分类。

极大似然估计

问题引入

实际生活中，由于样本数量有限， 先验概率和 类条件概率都是未知的，因此进行贝叶斯分类时，需要先对先验概率和类条件概率进行估计，再套用贝叶斯分类器。

先验概率相对来说较好估计，可以通过有监督学习、经验、训练样本中各类别出现的频率等进行估计。

类条件概率的估计较难，因为概率密度函数包含了一个随机变量的全部信息，样本量可能不足，并且特征向量的维度可能很大。因此可以将未知的概率密度转化为参数进行估计，也就是将概率密度估计问题转化为参数估计问题，由此引出极大似然估计（一种参数估计方法）。也因此选择合适的概率密度函数就十分重要。

重要前提

由于参数估计只是实际问题求解过程中的一种简化方法，因此使用参数估计方法需要满足一些前提：

• 有充足的训练样本；

• 训练样本的分布能代表整体样本的真实分布；

• 样本集中的每个样本的都是独立同分布的随机变量。

原理

由上图可以得出，极大似然估计的目的就是：利用已知样本的结果，反推最有可能导致这种结果的参数值。“模型已定，参数未知”。

通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布的，因此可以假设一类样本集，来估计参数向量，这个就是我们想要得到的 。

那么，联合概率密度函数就是相对于样本集的参数的似然函数。令：

我们最终想要得到使得最大的值，这个目标$\theta$值我们叫它。也就是说，是“最可能”的参数值，那么就是的极大似然估计量，记作：

被称作极大似然函数估计值

求解

为便于分析，选择对数似然函数来代替原似然函数，那么：

未知参数只有一个（为标量）

在似然函数满足连续、可微的正则条件下，极大似然估计量是以下微分方程的解：

等价于

未知参数有多个（为向量）

可表示为具有s个分量的未知向量：

那么极大似然估计量是以下微分方程的解：