人工智能初学- 1.2 最大似然估计及贝叶斯算法

• 最大似然思想

最大似然法是一种具有理论性的参数估计方法。

        基本思想是：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。一般步骤包括：

1. 写出似然函数
2. 对似然函数取对数，并整理
3. 求导数
4. 解似然方程

对于思想的理解可以参考https://www.cnblogs.com/xing901022/p/8418894.html，说的很详细。

 

• 最大似然应用

设总体分布为为该总体采样得到的样本。因为随机序列独立同分布，则它们的联合密度函数为：

这里被看做固定但是未知的参数，反过来，因为样本已经存在，所以可以看做是固定的，是关于的函数，即为似然函数。求的值，使得似然函数取得最大值，这种方法叫做最大似然估计法。

具体的计算过程比较复杂，公式推导比较多。

 

 

• 贝叶斯算法

贝叶斯公式：

 其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。

问题引出
        但是在实际问题中并不都是这样幸运的，我们能获得的数据可能只有有限数目的样本数据，而先验概率和类条件概率(各类的总体分布)都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是我们需要先对先验概率和类条件概率进行估计，然后再套用贝叶斯分类器。

        先验概率的估计较简单，1、每个样本所属的自然状态都是已知的（有监督学习）；2、依靠经验；3、用训练样本中各类出现的频率估计。

        类条件概率的估计（非常难），原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是，把估计完全未知的概率密度转化为估计参数。这里就将概率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。当然了，概率密度函数的选取很重要，模型正确，在样本区域无穷时，我们会得到较准确的估计值，如果模型都错了，那估计半天的参数，肯定也没啥意义了。

重要前提
        上面说到，参数估计问题只是实际问题求解过程中的一种简化方法（由于直接估计类条件概率密度函数很困难）。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。

        重要前提：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件)，且有充分的训练样本。
 

原文链接参考https://blog.csdn.net/zengxiantao1994/article/details/72787849

算法实例参考https://blog.csdn.net/anneqiqi/article/details/59666980

https://www.cnblogs.com/zhoulujun/p/8893393.html