朴素贝叶斯

朴素贝叶斯

概述

**朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。**对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率发布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出厚颜概率最大的输出$y$。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法

思想：朴素贝叶斯假设（条件独立性假设）最简单的概率图模型

推导

设输入空间$\mathcal{X}\subseteq {\mathbb{R}}^n$为$n$维向量的集合，输出空间为类标记集合 Y = { c 1 , c 2 , ⋯   , c k } \mathcal{Y}=\lbrace c_1,c_2,\cdots ,c_k\rbrace Y={c1​,c2​,⋯,ck​}。输入为特征向量$xϵ\mathcal{X}$，输出为类标记$yϵ\mathcal{Y}$。$X$是定义在输入空间$\mathcal{X}$上的随机变量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。

设数据集为 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) , ⋯   , ( x N , y N ) } D=\lbrace (x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots, (x_N,y_N) \rbrace D={(x1​,y1​),(x2​,y2​),⋯,(xi​,yi​),⋯,(xN​,yN​)}由$P(X,Y)$独立同分布产生。

求$P(X,Y)$分布则求$P(Y)$和$P(X|Y)$
$$\begin{array}{rl}P(Y& =c_k),k=1,2,\cdots ,K\\ P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots ,K\\ & =P(x^{(1)}|Y=c_k)\cdot P(x^{(2)}|Y=c_k)\cdots P(x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
朴素贝叶斯分类时，对给定的输入$x$，通过学习到的模型计算后验概率发布得到预测输出$y$
$$\begin{array}{rl}P(Y=c_k|X=x)& =\frac{P(X=x,Y=c_k)}{P(X=x)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum _{k}P(X=x|Y=c_k)P(Y=c_k)}\\ & =\frac{P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum _{k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K\end{array}$$
上式是朴素贝叶斯分类的基本方式。则朴素贝叶斯分类器可表示为：
$$\begin{array}{r}\hat{y}={\mathrm{argmax}}_{c_k}\frac{P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum _{k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}$$
注意到，上式中的分母对所有$c_k$都是相同的，所以
$$\begin{array}{r}\hat{y}={\mathrm{argmax}}_{c_k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$

参考：

李航-----统计学方法