极大似然估计 && 贝叶斯分类
贝叶斯分类
经典贝叶斯公式:
其中:为先验概率,表示类别
的分布;
为类条件概率,表示类别
下
发生的概率;
为后验概率,表示
发生了,它属于类别
的概率。
后验概率越大,表示属于某类别的可能性越大,因此可以利用后验概率进行样本的分类。
极大似然估计
问题引入
实际生活中,由于样本数量有限, 先验概率和 类条件概率
都是未知的,因此进行贝叶斯分类时,需要先对先验概率和类条件概率进行估计,再套用贝叶斯分类器。
先验概率相对来说较好估计,可以通过有监督学习、经验、训练样本中各类别出现的频率等进行估计。
类条件概率的估计较难,因为概率密度函数包含了一个随机变量的全部信息,样本量可能不足,并且特征向量的维度可能很大。因此可以将未知的概率密度转化为参数进行估计,也就是将概率密度估计问题转化为参数估计问题,由此引出极大似然估计(一种参数估计方法)。也因此选择合适的概率密度函数就十分重要。
重要前提
由于参数估计只是实际问题求解过程中的一种简化方法,因此使用参数估计方法需要满足一些前提:
有充足的训练样本;
训练样本的分布能代表整体样本的真实分布;
样本集中的每个样本的都是独立同分布的随机变量。
原理
![](https://i-blog.csdnimg.cn/blog_migrate/460f2de1e42757e2b9e59302436f0f4b.png)
由上图可以得出,极大似然估计的目的就是:利用已知样本的结果,反推最有可能导致这种结果的参数值。“模型已定,参数未知”。
通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。
由于样本集中的样本都是独立同分布的,因此可以假设一类样本集,来估计参数向量
,这个
就是我们想要得到的 。
那么,联合概率密度函数就是相对于样本集
的参数
的似然函数。令:
我们最终想要得到使得最大的
值,这个目标$\theta$值我们叫它
。也就是说,
是“最可能”的参数值,那么
就是
的极大似然估计量,记作:
被称作极大似然函数估计值
求解![](https://i-blog.csdnimg.cn/blog_migrate/2e36dade5f31d523b7ef2a1ce019c7a5.png)
为便于分析,选择对数似然函数来代替原似然函数
,那么:
未知参数只有一个(
为标量)
在似然函数满足连续、可微的正则条件下,极大似然估计量
是以下微分方程的解:
等价于
未知参数有多个(
为向量)
可表示为具有s个分量的未知向量:
那么极大似然估计量是以下微分方程的解: