机器学习——朴素贝叶斯（基于概率论的分类方法）

前言

分类器有时会产生错误结果，这是要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。

1.使用概率论分布进行分类

2.学习朴素贝叶斯分类器

基于贝叶斯决策理论的分类方法

优点：在数据较少的情况下仍然有效，可以处理多类别问题；

缺点：对于输入数据的准备方式较为敏感；

适用数据类型：标称型数据

朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前有必要了解一下贝叶斯决策理论。

贝叶斯决策理论的核心思想：选择最高概率的决策。

条件概率：

A桶：2个白球+2个黑球

B桶：1个白球+2个黑球

证明：P(白球|B桶)=P(白球 and B桶)/P(B桶)

P(白球 and 黑球|B桶) = 1/7   (用B桶中白色球个数除以2个桶中总的球数)

P(B桶) = 3/7   (B桶中有3个球，而球的总数是7)

P(白球|B桶) = P(白球 and B桶)/P(B桶)= 1/3

即 这是因为p(cx)=p(x|c)p(c)

使用条件概率来分类

p1(x, y) >p2(x, y) 那么属性类别1；

p2(x, y) >p1(x, y) 那么属性类别2；

注意：p(c1| x,  y) 表示：给定某个由x , y表示的数据点，那么该点来自类别c1的概率是多少？

使用Python进行文本分类

将一个文本片段表示为一个词条向量，其中值为1表示词条出现在文档中，0表示词条为出现。

准备数据：从文本中构建向量

将文本看成单词向量或词条向量，也就是将句子转换成向量。

考虑出现在所有文档中的所有的单词，再决定将哪些词纳入词汇或者说索要的词汇集合，然后将每一篇文档转换为词汇表上的向量。于是

# -*- coding: utf-8 -*-
__author__ = 'Mouse'
from numpy import *
'''   创建一些实验样本，该函数返回的第一个变量是进行词条切分后文档集合 '''
'''    函数返回的第二个变量是一个类别标签的集合，这里有2类，侮辱和 正常言论。
这些文本是由人工标注 ，这些标志信息用于训练程序以便自动检测侮辱留言'''
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0, 1, 0, 1, 0, 1]    #1 is abusive 侮辱的文字, 0 not 正常的言论
    return postingList, classVec

''' 创建一个包含在所有文档中出现的不重复词的列表，为此使用Python的set数据类型，
    将词条输给set构造函数，set就会返回一个不重复词表'''
def createVocabList(dataSet):
    # 创建一个空集合，然后将每篇文档返回的新词集合添加到该集合中。
    vocabSet = set([])  #create empty set
    for document in dataSet:
        #操作符|用于求两个集合的并集'''
        vocabSet = vocabSet | set(document) #union of the two sets