机器学习基础（三）：贝叶斯分类器

贝叶斯决策论

       贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

       最小化分类错误率的贝叶斯最优分类器为：

                                                    

其中：是类别集合。是后验概率。

• 先验概率

是指根据以往经验和分析得到的概率。如根据专家的知识推测出的某件事发生的概率。先验概率是“由因求果”中的因。在贝叶斯分类中，根据经验得到的类概率就是先验概率。

• 后验概率

事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小。是在已知某些事实的条件下，出现这种事实的原因的概率。后验概率是“执果询因”中的因。在某个样本出现的条件下推测它所属的类别的概率就是后验概率。

在实际应用中，由于样本的有限，后验概率实际上并不好计算。是所有属性上的联合概率，难以从有限的训练样本中直接估计而得。机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率。大体来说主要有两种策略：

• 判别式模型。给定x，可通过直接建模来预测c。

判别式模型有决策树、BP神经网络、支持向量机等

• 生成式模型。先对联合概率分布建模，然后再由此获得。

生成式模型有贝叶斯、隐马尔可夫、概率图模型等。

对于生成式模型，有：

                                                        

基于贝叶斯定理可以写为：

                                                    

朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。换言之，假设每个属性独立地分类结果发生影响。

                                         

因此朴素贝叶斯分类器的表达式为：

                                                   

线性回归和逻辑回归的区别：

https://blog.csdn.net/ddydavie/article/details/82668141