机器学习之Bayes

优点

• 朴素贝叶斯模型有稳定的分类效率。
• 对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，可以一批批的去增量训练。
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

缺点:

• 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
• 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
• 由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。
• 对输入数据的表达形式很敏感。

理论知识

1. 生成模型
基于生成模型算法有：

高斯混合模型	潜在狄利克雷分配模型
朴素贝叶斯分类器	随机上下文无关文法
隐马尔可夫模型	受限玻尔兹曼机
AODE分类器	其他混合模型

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。
它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。
2. 判别模型
常见的基于判别模型算法有：

逻辑回归	条件随机场	人工神经网络	随机森林
线性回归	感知器	SVM	提升方法

在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。
判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。

• 先验概率
  在贝叶斯统计中，某一不确定量 p 的先验概率分布是在考虑"观测数据"前，能表达 p 不确定性的概率分布。它旨在描述这个不确定量的不确定程度，而不是这个不确定量的随机性。这个不确定量可以是一个参数，或者是一个隐含变量。
• 后验概率
  在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。
• 条件概率
  事件A在事件B发生的条件下发生的概率。条件概率表示为P（A|B）
  （未完待续…等我做完毕设回来补上