- 最大似然思想
最大似然法是一种具有理论性的参数估计方法。
基本思想是:当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。一般步骤包括:
- 写出似然函数
- 对似然函数取对数,并整理
- 求导数
- 解似然方程
对于思想的理解可以参考https://www.cnblogs.com/xing901022/p/8418894.html,说的很详细。
- 最大似然应用
设总体分布为为该总体采样得到的样本。因为随机序列独立同分布,则它们的联合密度函数为:
这里被看做固定但是未知的参数,反过来,因为样本已经存在,所以可以看做是固定的,是关于的函数,即为似然函数。求的值,使得似然函数取得最大值,这种方法叫做最大似然估计法。
具体的计算过程比较复杂,公式推导比较多。
- 贝叶斯算法
贝叶斯公式:
其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,并且它属于某一类别的概率,有了这个后验概率,我们就可以对样本进行分类。后验概率越大,说明某事物属于这个类别的可能性越大,我们越有理由把它归到这个类别下。
问题引出
但是在实际问题中并不都是这样幸运的,我们能获得的数据可能只有有限数目的样本数据,而先验概率和类条件概率(各类的总体分布)都是未知的。根据仅有的样本数据进行分类时,一种可行的办法是我们需要先对先验概率和类条件概率进行估计,然后再套用贝叶斯分类器。
先验概率的估计较简单,1、每个样本所属的自然状态都是已知的(有监督学习);2、依靠经验;3、用训练样本中各类出现的频率估计。
类条件概率的估计(非常难),原因包括:概率密度函数包含了一个随机变量的全部信息;样本数据可能不多;特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是,把估计完全未知的概率密度转化为估计参数。这里就将概率密度估计问题转化为参数估计问题,极大似然估计就是一种参数估计方法。当然了,概率密度函数的选取很重要,模型正确,在样本区域无穷时,我们会得到较准确的估计值,如果模型都错了,那估计半天的参数,肯定也没啥意义了。
重要前提
上面说到,参数估计问题只是实际问题求解过程中的一种简化方法(由于直接估计类条件概率密度函数很困难)。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。
重要前提:训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件),且有充分的训练样本。
原文链接参考https://blog.csdn.net/zengxiantao1994/article/details/72787849
算法实例参考https://blog.csdn.net/anneqiqi/article/details/59666980