机器学习实战--naive bayes和logistic Regression

前面我们学到的knn和trees都是能确切的确定例子属于哪一类，这一节我们将介绍一种用概率来进行分类的方式。

一、朴素贝叶斯（naive bayes）

用一句话介绍就是，待测例子属于哪一类的可能性更大，就将待测例子归为哪一类。
先简单的介绍一下概率的基本知识：
假设一共有两类c=0,1；如果p(c=0)>p(c=1)，那我们就将该例归为c=0类。反之，归为c=1类。对于多类问题采用相似的解决方法。
而bayes的分类依据采用的是条件概率，p(c|w) = p(w|c)*p(c)/p(w)。其中p(c|w)表示，已知w的概率分布时，属于ci的概率。p(w|c)表示，已知所属类别时，w的概率分布。
这里w是一个多元数据w=（w0, w1, w2,….）。
在bayes理论中，如果p(c=0|w)>p(c=1|w),我们就将该例归为c=0类，于是就衍生出了怎么计算p(c|w)的问题，这里p(c)是各类别出现的概率，很好计算。p(w)相同，可以不用计算。问题在于怎么计算p(w|c),这时便做了一个特征相互独立假设，即w0, w1, …之间是相互独立，于是就有了p(w|c)=p(w0|c)*p(w1|c)….
这在理论上说不通，但实际的效果却很好（尤其在文档分类上），这就是naive bayes的“naive”所在。
更详细的概率知识，请参考其它
算法优点：
1、便于处理不完全的数据
2、能充分的利用领域的先验知识
3、在数据较少的情况下仍然有效，可进行多酚类问题
算法缺点：
对于输入的数据格式较为敏感。
算法步骤：
这里以文档分类为例
1、将文档转化为对应的单词向量
2、将单词向量转化为机器可识别的向量
3、训练：根据条件概率公式，计算对应的概率，或概率向量p(w|c), p(c)
4、测试：根据3中得到的训练参数，测试算法。
主要算法实现：
1、创建邮件列表，和对应的类别。

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my',