《统计学习方法》第四章: 朴素贝叶斯法 读书笔记

一切为了数据挖掘的准备

4.朴素贝叶斯法（naive Bayes）

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法

• 生成模型
• 判别模型

4.1朴素贝叶斯的学习与分类

4.1.1 基本方法

• 表达：输入空间$X\subseteq R^n$,输出空间$Y=c_1,c_2,\cdots ,c_K$。P(X,Y)是X和Y的联合分布。对条件概率分布作条件独立性假设,即$P(X|Y)=P(x^0|Y)P(x^1|Y)\cdots P(x^n|Y)$,在分类确定的条件下，用于分类的特征都是条件独立的。

• 通过训练集T歇息联合概率分布P(X,Y)。

  • 学习先验概率分布：$P(Y=c_k),k=1,2,\cdots ,K$
  • 条件概率分布：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)={\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$
  • 联合概率分布:$P(X,Y)=P(X|Y)P(Y)$

• 通过学习到的模型计算后验概率分布
  $$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}$$

• 朴素贝叶斯的分类器模型
  $$y=f(x)=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

4.1.2 分类器模型证明

• 选择损失函数：对于分类模型，一般选择0-1损失函数:
  $$L(Y,f(X))=\{\begin{array}{ll}1,& Y̸=f(X)\\ 0,& Y=f(X)\end{array}$$

• 期望风险：
  对于离散值期望为$\sum xP(x)$
  $$R_{exp}(f)=E[L(Y,f(X))]=\sum _X\sum _{Y}L(Y,f(X))P(X,Y)=$$
  $$\sum _X\sum _{Y}L(Y,f(X))P(Y|X)P(X)=\sum _X(\sum _{Y}L(Y,f(X))P(Y|X))P(X)$$

• 对想要期望风险最小化，对${\sum }_{Y}L(Y,f(X))P(Y|X)$逐个极小化
  $$min\sum _{Y}L(Y,f(X))P(Y|X)=min\sum _{k}L(Y=c_k,f(X))P(Y=c_k|X)$$
  当$Y̸=f(x)$即$f(x)̸=c_k$时，$L(Y=c_k,f(X))$为1,所以上面公式等效于
  $$min\sum _{k}I(f(X)̸=c_k)P(Y=c_k|X)=min\sum _k(1-I(f(X)=c_k))P(Y=c_k|X)=$$
  m i n { ∑ k P ( Y = c k ∣ X ) − ∑ k I ( f ( X ) = c k ) P ( Y = c k ∣ X ) } = m a x ∑ k I ( f ( X ) = c k ) P ( Y = c k ∣ X ) min \{\sum_kP(Y=c_k|X)-\sum_kI(f(X) = c_k)P(Y=c_k|X)\} =max\sum_kI(f(X) = c_k)P(Y=c_k|X) min{k∑​P(Y=ck​∣X)−k∑​I(f(X)=ck​)P(Y=ck​∣X)}=maxk∑​I(f(X)=ck​)P(Y=ck​∣X)

4.2参数估计

4.2.1 极大似然估计

• $P(Y=c_k)=\frac{{\sum }_{i=1}I(y_i=c_k)}{N}$
  输出空间$Y=c_1,c_2,\cdots ,c_K$,假设参数为$\theta$假设每个值对应概率为${\theta }_1,{\theta }_2,\cdots ,{\theta }_K$，即$P(Y=c_i|\theta )={\theta }_i$,且满足$st:{\sum }_{i=1}^K{\theta }_i=1$
  证：
  $$maxP(y_1{y}_2\cdots y_N|\theta )=P(y_1|\theta )P(y_2|\theta )\cdots P(y_N|\theta )={\theta }_1^{m_1}{\theta }_2^{m_2}\cdots {\theta }_N^{m_N}$$
  $$maxln(P(y_1{y}_2\cdots y_N|\theta ))=m_{1}ln{\theta }_1+m_{2}ln{\theta }_2+\cdots +m_{K}ln{\theta }_K$$
  $$L=ln(P(y_1{y}_2\cdots y_N|\theta ))+\lambda ({\theta }_1+{\theta }_2+\cdots +{\theta }_K-1)=$$
  $$m_{1}ln{\theta }_1+m_{2}ln{\theta }_2+\cdots +m_{K}ln{\theta }_K+\lambda ({\theta }_1+{\theta }_2+\cdots +{\theta }_K-1)$$
  $$\frac{\partial L}{\partial {\theta }_i}=\frac{m_i}{{\theta }_i}+\lambda =0,{\theta }_i=-\frac{m_i}{\lambda },$$
  $$\sum _K-\frac{m_i}{\lambda }=1,\lambda =-\sum _K{m}_i=-N,{\theta }_i=\frac{m_i}{N}$$

• $P(X^{(j)}=a|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x^{(j)}=a,y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$

4.2.2贝叶斯估计

假设样本较少，有可能某些条件下计数为0，则计算出该条件下的先验概率为0，会影响到以后后验概率的结果。因此采用贝叶斯估计。
$$P(Y=c_k)=\frac{{\sum }_{i=1}I(y_i=c_k)+\lambda }{N+K\lambda }$$
$$P(X^{(j)}=a|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x^{(j)}=a,y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S\lambda }$$
其中K是分类结果的个数，S是第j维输入特征的取值个数。
证：
对于多项分布$Y=c_1,c_2,\cdots ,c_K$,先验概率分布为
$$\pi (\theta )=\frac{\gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_K)}{\gamma ({\alpha }_1)\gamma ({\alpha }_2)\cdots \gamma ({\alpha }_K)}{\theta }_1^{{\alpha }_1-1}{\theta }_2^{{\alpha }_2-1}\cdots {\theta }_K^{{\alpha }_K-1}$$
倾向于认为${\alpha }_1={\alpha }_2=\cdots ={\alpha }_K=\alpha$
$$P(\theta |y_1\cdots y_N)=\frac{P(\theta ,y_1\cdots y_N)}{P(y_1\cdots y_N)}\propto \pi (\theta )P(y_1\cdots y_N|\theta )\propto$$
$${\theta }_1^{\alpha -1}{\theta }_2^{\alpha -1}\cdots {\theta }_K^{\alpha -1}{\theta }_1^{m_1}{\theta }_2^{m_2}\cdots {\theta }_N^{m_N}$$
$$L={\theta }_1^{m_1+\alpha -1}{\theta }_2^{m_2+\alpha -1}\cdots {\theta }_K^{m_k+\alpha -1}$$
L 1 = l n L + λ ( θ 1 + ⋯ + θ K − 1 ) = { ∑ K ( m i + α − 1 ) l n θ i + λ θ i } − 1 L_1 = lnL+\lambda(\theta_1 + \cdots + \theta_K -1)=\{\sum_K(m_i+\alpha-1)ln\theta_i+\lambda\theta_i\} -1 L1​=lnL+λ(θ1​+⋯+θK​−1)={K∑​(mi​+α−1)lnθi​+λθi​}−1
$$\frac{\partial L}{\partial {\theta }_i}=\frac{m_i+\alpha -1}{{\theta }_i}+\lambda =0,{\theta }_i=-\frac{m_i+\alpha -1}{\lambda },$$
$$\sum _K-\frac{m_i+\alpha -1}{\lambda }=1,\lambda =-\sum _K(m_i+\alpha -1)=-N-K(\alpha -1),$$
$${\theta }_i=\frac{m_i+\alpha -1}{N+K(\alpha -1)}$$

4.3 我的实现

import numpy as np
import pandas as pd
from functools import reduce
from pandas import Series,DataFrame
class naive_bayes:
    def __init__(self,X,Y):
        """
        xclass是个二维数组每行数据对应输入空间X的对应维度的所有取值,
        yclass是输出空间所有取值
        """
        self.X = X
        self.Y = Y
        self.model = self.training()
        
    def training(self):
        data = DataFrame(self.X)
        data['yvalue'] = self.Y
        # 计算每个y分类的数目
        d_y = data['yvalue'].value_counts()
        # p(y) = y分类数目/总数目
        m_y = d_y/(len(data))
        # p(x|y)，m_xy最终结构，第一层index是各特征的index,第二层index是各特征的取值，
        #columns是y分类
        m_xy = DataFrame([],columns = data['yvalue'].unique())
        for i in range(len(data.columns)-1):
        	#按照y和第i个特征计数
            d_xy = pd.crosstab(data[i],data['yvalue'])
            # p(x|y)
            d_xy = d_xy/d_y
            d_xy['feature'] = i
            m_xy = pd.concat([m_xy,d_xy])
        m_xy.set_index(['feature',m_xy.index],inplace=True)
        return {'m_y':m_y,'m_xy':m_xy}
    
    def predict(self,x):
    	# 最终y分类
        py = ''
        # y分类对应的最大概率
        maxp = 0
        # 循环y分类，计算概率
        for y in self.model['m_y'].index:
            p = self.model['m_y'][y]
            for i_feature in range(len(x)):
                p*=self.model['m_xy'].loc[(i_feature,x[i_feature]),y]
            if maxp < p:
                py = y
                maxp = p
        print('预测结果为:',py,',得到概率为:',maxp)
        
x=[[1,'s'],[1,'m'],[1,'m'],[1,'s'],[1,'s'],[2,'s'],[2,'m'],[2,'m'],[2,'l'],[2,'l'],[3,'l'],[3,'m'],[3,'m'],[3,'l'],[3,'l']]
y=[-1,-1,1,1,-1,-1,-1,1,1,1,1,1,1,1,-1]             
n = naive_bayes(x,y)
n.predict([2,'s'])