《机器学习实战》学习笔记：基于朴素贝叶斯的垃圾邮件过滤

概率是许多机器学习算法的基础，在前面生成决策树的过程中使用了一小部分关于概率的知识，即统计特征在数据集中取某个特定值的次数，然后除以数据集的实例总数，得到特征取该值的概率。

之前的基础实验中简单实现了朴素贝叶斯分类器，并正确执行了文本分类，这一节将贝叶斯运用到实际场景，垃圾邮件过滤这一实际应用。

实例：使用朴素贝叶斯过滤垃圾邮件

在上一节：http://blog.csdn.net/liyuefeilong/article/details/48383175中，使用了简单的文本文件，并从中提取了字符串列表。这个例子中，我们将了解朴素贝叶斯的一个最著名的应用：电子邮件垃圾过滤。首先看一下如何使用通用框架来解决问题：

• 收集数据：提供文本文件，下载地址：http://download.csdn.net/detail/liyuefeilong/9106481，放在工程目录下并解压即可；

• 准备数据：将文本文件解析成词条向量；

• 分析数据：检查词条确保解析的正确性；

• 训练算法：使用我们之前建立的trainNaiveBayes(trainMatrix, classLabel)函数；

• 测试算法：使用函数naiveBayesClassify(vec2Classify, p0, p1, pBase)，并且构建一个新的测试函数来计算文档集的错误率；

• 使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上。

1.生成贝叶斯分类器

在上一节已实现，在实现朴素贝叶斯的两个应用前，需要用到之前的分类器训练函数，完整的代码如下：

# -*- coding: utf-8 -*-
"""
Created on Tue Sep 08 16:12:55 2015

@author: Administrator
"""

from numpy import *

# 创建实验样本，可能需要对真实样本做一些处理，如去除标点符号
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 [