朴素贝叶斯伪代码_机器学习之朴素贝叶斯及python代码实战

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入X，利用贝叶斯定理后验概率最大的输出Y。

朴素贝叶斯方法 = 贝叶斯公式 + 条件独立假设(等于是说用于分类的特征在类确定的条件下都是条件独立的)。

贝叶斯公式：

其中P(Y)叫做先验概率，P(Y|X)叫做后验概率，P(Y,X)叫做联合概率；

1)P(“属于某类”|“具有某特征”)=在已知某样本“具有某特征”的条件下，该样本“属于某类”的概率。所以叫做『后验概率』；

2)P(“具有某特征”|“属于某类”)=在已知某样本“属于某类”的条件下，该样本“具有某特征”的概率；

3)P(“属于某类”)=在未知某样本具有该“具有某特征”的条件下，该样本“属于某类”的概率。所以叫做『先验概率』；

4)P(“具有某特征”)=在未知某样本“属于某类”的条件下，该样本“具有某特征”的概率。

由于计算时具有某特征而属于某类无法直接通过统计得到，比如有十个属性而求相应类概率是比较复杂的，但是反过来求对应类会有那些属性概率则可以通过统计得到，因此需要用到上面所说的概率公式将其转换。当然朴素贝叶斯算法有个更加强的假设，就是属性间相互独立，也就是概率可以进行相乘，这也是“朴素”贝叶斯的来源：

当特征属性为连续值时，通常假定其值服从高斯分布(也称正态分布)。

后验概率最大化的含义：等同于期望风险最小化；

后验概率最大化：在给定输入，通过学习到的模型计算后验概率，将后验概率最大的类作为特征的输出类；

假设是解决一个二类问题，选择的是0-1损失函数：

此时优化的目标是期望最小化

期望是对联合分布取得，由此取条件期望

为了使期望最小，只需要对逐个X=x最小，由此得到

这样根据期望最小就得到了后验概率z最大化准则：

即朴素贝叶斯采用的原理。

用python基于朴素贝叶斯实现垃圾邮件过滤，该段代码主要参考机器学习实战；

#---------------------------从文本中构建词条向量-------------------------#1 要从文本中获取特征，需要先拆分文本，这里特征是指来自文本的词条，每个词#条是字符的任意组合。词条可以理解为单词，当然也可以是非单词词条，比如URL#IP地址或者其他任意字符串 #  将文本拆分成词条向量后，将每一个文本片段表示为一个词条向量，值为1表示出现#在文档中，值为0表示词条未出现#导入numpyfrom numpy import *def loadDataSet():#词条切分后的文档集合，列表每一行代表一个文档    postingList=[['my','dog','has','flea',\                  'problems