机器学习（三）：朴素贝叶斯（NB）

更多内容关注公众号：数学的旋律

tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物

引言

    朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。在统计学中，相互独立的含义是它们中一个已发生，不影响另一个发生的概率，即特征条件独立指一个特征出现的可能性与它的相邻没有关系。
    基本思想如下：
    假设训练集标记类别集合为{c₁,c₂}，P(c₁|x₁,x₂)为给定数据点(x₁,x₂)来自类别c₁的概率；P(c₂|x₁,x₂)为给定数据点(x₁,x₂)来自类别c₂的概率。若P(c₁|x₁,x₂) > P(c₂|x₁,x₂)，数据点属于c₁；若P(c₁|x₁,x₂) < P(c₂|x₁,x₂)，数据点属于c₂。
    具体地可利用贝叶斯定理计算概率值。运算中，利用了特征条件独立的假设，由于这是一个较强的假设，使整个形式化过程变得原始简单，“朴素”由此得名。

一、数学预备知识

1.条件概率

设A，B是两个事件，且P(A)>0，称
$$P(B|A)=\frac{P(AB)}{P(A)}$$为在事件A发生的条件下事件B发生的条件概率。

2.乘法公式

P(A)>0，则有
$$P(AB)=P(B|A)P(A)$$上式称为乘法公式。

3.全概率公式

设试验E的样本空间为S，A为E的事件，B₁,B₂,…,B_n为S的一个划分（即B_iB_j=∅，i≠j，i,j=1,2,…,n，且P{B₁∪B₂∪…∪B_n}=1），且P(B_i)>0（i=1,2,…,n），则
$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\dots +P(A|B_n)P(B_n)$$上式称为全概率公式。

4.贝叶斯公式

设试验E的样本空间为S，A为E的事件，B₁,B₂,…,B_n为S的一个划分（即B_iB_j=∅，i≠j，i,j=1,2,…,n，且P{B₁∪B₂∪…∪B_n}=1），且P(A)>0，P(B_i)>0（i=1,2,…,n），则
$$P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$上式称为贝叶斯公式。

5.独立的定义

设A,B是两事件，如果满足等式
$$P(AB)=P(A)P(B)$$则称事件A,B相互独立，简称A,B独立。

二、朴素贝叶斯分类器

设输入空间X是n维实数向量空间$R^n$，输出空间为标记类别集合 Y = { c 1 , c 2 , ⋯   , c k } Y=\{c_1,c_2,\cdots,c_k\} Y={ c1​,c2​,⋯,ck​}。训练集为：
$$D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$其中$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(i)},\cdots ,x_i^{(n)}{)}^T$，$x_i^{(j)}$是第i个实例的第j个特征。
设测试实例为$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T$，其中 x ( i ) x^{(i)} x