《统计学习方法》之朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
1. 朴素贝叶斯法的基本方法:
输入空间:
为n维向量的集合。
输出空间:
X是定义在输入空间上的随机变量,Y是定义在输出空间上的随机变量。P(X,Y)是X和Y的联合分布概率分布。训练数据集
由P(X,Y)独立分布产生。
2. 朴素贝叶斯法通过训练数据集学习联合分布概率P(X,Y):
先验概率分布:
(先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率)
条件概率分布:
于是学习到联合概率分布。
朴素贝叶斯法对条件概率分布作了独立性的假设。条件独立性假设是
条件独立性假设会使朴素贝叶斯法变得简单,但有时会牺牲一定的分类准确性。
3. 朴素贝叶斯法分类时通过学习到的模型计算后验概率分布:
后验概率计算根据贝叶斯定理进行:
带入条件独立性假设公式,化简后最终得到: