第四章-朴素贝叶斯朴素吗？

你觉得朴素贝叶斯朴素吗？ 个人觉得，一点也不朴素，如同“平凡出真知”，朴素贝叶斯还是很挺厉害的。如果想要了解朴素贝叶斯，那么需要先了解贝叶斯估计和极大似然估计。

极大似然估计

对于一个数据集T服从概率分布P，但是P中参数未知，针对极大似然估计，就是将未知参数看作一个定值，从而找未知参数能使得数据集T发生的概率最大。
$$\begin{gathered} 极大似然估计： \\ 假设某个数据集T(x_1,x_2,...,x_n)服从正态分布XN(\mu ,{\sigma }^2),但是某具体参数\theta 未知， \\ 如何通过极大似然估计得到\hat{\theta }使得随机样本出现的概率最大? \\ 求解过程:(1)正态分布下\mu 的极大似然估计是: \\ f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}} \\ (2)损失函数：L(\mu )=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}} \\ (3)取对数：\ln L(\mu )=-nln(\sqrt{2\pi })\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2 \\ (4)求导：\frac{\partial \ln L(\mu )}{\partial \mu }=-\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2 \\ (5)令导数为0：\frac{\partial \ln L(\mu )}{\partial \mu }=0=>\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i=\overline{x} \end{gathered}$$

贝叶斯估计

相比较贝叶斯估计，极大似然估计会出现概率为0的情况。

$$\begin{gathered} 假设样本D(x_1,x_2...x_n)是正态分布N(\mu ,{\sigma }^2),其中{\sigma }^2已知。 \\ 假设\mu 的先验分布是正态分布N(0,{\tau }^2)，如果每个样本的概率独立且同步分布，那么贝叶斯估计？ \\ (1)第一步：假设数据集D的全概率为P(D),那么p(\mu |D)=\frac{P(D|\mu )P(\mu )}{P(D)}, \\ 其中P(\mu )是服从N(0,{\tau }^2)分布的先验概率，从而得到L(\mu ):L(\mu )=P(\mu |D)=\frac{P(D|\mu )P(\mu )}{P(D)} \\ =\frac{P(\mu )P(x_1|\mu )P(x_2|\mu )...P(x_n|\mu )}{\int P(\mu ,x_1,x_2,...x_n)d\mu },由此看出\int P(\mu ,x_1,x_2,...x_n)d\mu 是一个常数，可以记作K。 \\ =K\frac{1}{\sqrt{2\pi }\tau }{e}^{-\frac{{\mu }^2}{2{\tau }^2}}\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}} \\ (2)第二步：取对数。\ln P(\mu |D)=-\frac{{\mu }^2}{2{\tau }^2}K+\sum _{i=1}^n(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}) \\ (3)第三步：求导。\frac{\partial ln}{\partial \mu }=-\frac{\mu }{{\tau }^2}+\sum _{i=1}^n(-\frac{(x_i-\mu )}{{\sigma }^2}) \\ (4)第四步：令导数为0。可得到:\hat{\mu }=\frac{{\sum }_{i=1}^n{x}_i}{n+\frac{{\sigma }^2}{{\tau }^2}} \\ 由此可以看出，当n\to \infty ,贝叶斯估计概率和极大似然估计概率是差不多的， \\ 但是如果n\to 0,贝叶斯估计不会等于0，相对而言，更加精确些。 \end{gathered}$$

朴素贝叶斯法

朴素贝叶斯(Native Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。

朴素贝叶斯实际上学习到的是生成数据机制，因此属于生成模型。

朴素贝叶斯法的基本假设是条件独立性。

朴素贝叶斯模型

设 输 入 空 间 χ ⊆ R n 为 n 维 向 量 的 集 合 ， 输 出 空 间 维 类 标 记 集 合 Y = ( c 1 , c 2 , . . c K ) 。 输 入 为 特 征 向 量 x ∈ χ , 输 出 标 记 y ∈ Y , P ( X , Y ) 是 X 和 Y 的 联 合 概 率 分 布 。 训 练 数 据 集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) } 。 朴 素 贝 叶 斯 分 类 时 ， 对 给 定 的 输 入 x , 朴 素 贝 叶 斯 分 类 器 模 型 如 下 ： y = f ( x ) = a r g m a x P ( Y = c K ) ∏ j P ( X ( j ) = x ( j ) ∣ Y = c K ) ∑ K P ( Y = c K ) ∏ j P ( X ( j ) = x ( j ) ∣ Y = c K ) 设输入空间\chi \subseteq R^n为n维向量的集合，输出空间维类标记集合Y=(c_1,c_2,..c_K)。\\ 输入为特征向量x \in \chi,输出标记y\in Y,P(X,Y)是X和Y的联合概率分布。\\ 训练数据集T=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}。\\ 朴素贝叶斯分类时，对给定的输入x,朴素贝叶斯分类器模型如下：\\ y=f(x)=arg max\frac{P(Y=c_K)\prod_jP(X^{(j)}=x^{(j)}|Y=c_K)}{\sum_K P(Y=c_K)\prod_jP(X^{(j)}=x^{(j)}|Y=c_K)} 设输入空间χ⊆Rn为n维向量的集合，输出空间维类标记集合Y=(c1​,c2​,..cK​)。输入为特征向量x∈χ,输出标记y∈Y,P(X,Y)是X和Y的联合概率分布。训练数据集T={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}。朴素贝叶斯分类时，对给定的输入x,朴素贝叶斯分类器模型如下：y=f(x)=argmax∑K​P(Y=cK​)∏j​P(X(j)=x(j)∣Y=cK​)P(Y=cK​)∏j​P(X(j)=x(j)∣Y=cK​)​

损失函数

朴素贝叶斯法将实例分到后验概率最大的类中，这损失函数正符合0-1损失函数。根据期望风险最小化准则得到后验概率最大化准则：
$$f(x)=argma{x}_{c_K}P(c_K|X=x)$$
参数估计就是采用上面刚开始谈到的极大似然估计和贝叶斯估计。

朴素贝叶斯算法

输 入 ： 训 练 数 据 集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) } ， 其 中 x i = ( x i ( 1 ) , x i ( 2 ) , . . . x i ( n ) ) T , x i ( j ) 表 示 第 i 个 样 本 的 j 个 特 征 , x i ( j ) ∈ { a j 1 , a j 2 . . . a j S j } , a j l 是 第 j 个 特 征 可 能 取 得 第 l 个 值 ， j = 1 , 2.. n , l = 1 , 2 , . . S j , y i ∈ { c 1 , c 2 , . . . c K } ； 实 例 x ; 输 出 ： 实 例 x 的 分 类 。 ( 1 ) 计 算 先 验 概 率 以 及 每 个 条 件 概 率 P ( Y = c K ) = ∑ i = 1 N I ( y i = c K ) N , k = 1 , 2 , . . . K P ( X ( j ) = a j l ∣ Y = c K ) = ∑ i = 1 N I ( x i ( j ) = a j l , y i = c K ) ∑ i = 1 N I ( y i = c K ) , j = 1 , 2... n ; l = 1 , 2 , . . S j ; k = 1 , 2 , . . . K ( 2 ) 计 算 每 个 标 签 下 的 实 例 的 概 率 P ( Y = c K ) ∏ j = 1 n P ( X ( j ) = x ( j ) ∣ Y = c K ) , k = 1 , 2... K ( 3 ) 确 定 的 实 例 x 的 类 。 y = a r g m a x c K P ( Y = c K ) ∏ j = 1 n P ( X ( j ) = x ( j ) ∣ Y = c K ) 输入：训练数据集T=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}，其中x_i=(x_i^{(1)},x_i^{(2)},...x_i^{(n)})^T,\\ x_i^{(j)}表示第i个样本的j个特征,x_i^{(j)} \in \{a_{j1},a_{j2}...a_{jS_j}\},\\ a_{jl}是第j个特征可能取得第l个值，j=1,2..n,l=1,2,..S_j,y_i \in \{c_1,c_2,...c_K\}；实例x; 输出：实例x的分类。\\ (1)计算先验概率以及每个条件概率\\ P(Y=c_K)=\frac{\sum_{i=1}^N I(y_i=c_K)}{N},k=1,2,...K \\ P(X^{(j)}=a_{jl}|Y=c_K)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_K)}{\sum_{i=1}^NI(y_i=c_K)},j=1,2...n;l=1,2,..S_j;k=1,2,...K \\ (2) 计算每个标签下的实例的概率 \\ P(Y=c_K)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_K),k=1,2...K \\ (3)确定的实例x的类。\\ y=arg max_{c_K} P(Y=c_K)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_K) 输入：训练数据集T={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}，其中xi​=(xi(1)​,xi(2)​,...xi(n)​)T,xi(j)​表示第i个样本的j个特征,xi(j)​∈{aj1​,aj2​...ajSj​​},ajl​是第j个特征可能取得第l个值，j=1,2..n,l=1,2,..Sj​,yi​∈{c1​,c2​,...cK​}；实例x;输出：实例x的分类。(1)计算先验概率以及每个条件概率P(Y=cK​)=N∑i=1N​I(yi​=cK​)​,k=1,2,...KP(X(j)=ajl​∣Y=cK​)=∑i=1N​I(yi​=cK​)∑i=1N​I(xi(j)​=ajl​,yi​=cK​)​,j=1,2...n;l=1,2,..Sj​;k=1,2,...K(2)计算每个标签下的实例的概率P(Y=cK​)j=1∏n​P(X(j)=x(j)∣Y=cK​),k=1,2...K(3)确定的实例x的类。y=argmaxcK​​P(Y=cK​)j=1∏n​P(X(j)=x(j)∣Y=cK​)

在朴素贝叶斯估计中，条件概率的贝叶斯估计是：
$$\begin{gathered} P_{\lambda }(X^{(j)}=a_{jl}|Y=c_K)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_K)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_K)+S_j\lambda } \\ 当\lambda \ge 0,等价于在随机变量上各个取值的频数上赋予一个正数\lambda 。 \\ 当\lambda =0，贝叶斯估计等于极大似然估计。常取\lambda =1,这时称为拉普拉斯平滑(LaplaceSmoothing)。此时有: \\ {P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_K)>0 \\ \sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_K)=1P_{\lambda }(X^{(j)}=a_{jl}|Y=c_K)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_K)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_K)+S_j\lambda } \\ 当\lambda \ge 0,等价于在随机变量上各个取值的频数上赋予一个正数\lambda 。 \\ 当\lambda =0，贝叶斯估计等于极大似然估计。常取\lambda =1,这时称为拉普拉斯平滑(LaplaceSmoothing)。此时有: \\ {P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_K)>0 \\ \sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_K)=1 \end{gathered}$$
先验概率的贝叶斯估计是：
$$P_{\lambda }(Y=c_K)=\frac{{\sum }_{i=1}^{N}I(y_i=c_K)+\lambda }{N+K\lambda },k=1,2,3...K,l=1,2,3...S_j$$

小结

朴素贝叶斯是在条件独立性的基础上的，由于这一假设，模型包含的条件概率的数量大大减少，朴素贝叶斯法的学习与预测大为简化。因此朴素贝叶斯法高效，且易于实现，缺点就是分类的性能不一定很高。