统计学习方法笔记（三）：朴素贝叶斯法

统计学习方法笔记（三）：朴素贝叶斯法

0.补充知识

1）贝叶斯公式

设事件
$$A_1,A_2,...,A_n$$
为样本空间Omega中的一个划分，则在任意事件B发生的条件下，事件Ai发生的概率为
$$\begin{gathered} P(A_i|B)=\frac{P(B|A_i)P(A_i)}{{\sum }_j^{n}P(B|A_j)P(A_j)} \\ {A}_1\cup A_2\cup ...\cup A_n=\Omega \end{gathered}$$
其中分母部分为事件B的全概率公式

2）极大似然估计法

极大似然估计是一种对给定数据代表的概率密度表达式的参数进行估计的方法，一般执行步骤为：

1. 写出似然函数（有时还需要写出对数似然函数），以及非零区域对应的各个量的范围
   $$L({\theta }_1,{\theta }_2,...,{\theta }_k;\hat{x}),{\theta }_i\in D_i$$

2. 写出似然方程（有时是对数似然方程）
   $$\frac{\partial L}{\partial {\theta }_i}=0$$

3. 解（对数）似然方程

4. 经微分法检验，小写改为大写，加帽子

   广义上，一般有这样的表示
   $${\theta }_{MLE}=arg\underset{\theta }{\max }P(X|\theta )$$

应用举例：

例1 求正态总体
$$N(\mu ,{\sigma }^2)$$
的未知参数
$$\mu ,{\sigma }^2$$
的极大似然估计MLE.

解

**1.**写出似然函数
$$\begin{gathered} L(\mu ,{\sigma }^2)=(2\pi {\sigma }^2)e^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2} \\ -\infty <\mu <\infty ,\sigma >0 \end{gathered}$$

注意第二行中要写出参数范围，接着写出对数似然函数
$$lnL(\mu ,{\sigma }^2)=-\frac{n}{2}ln(2\pi )-\frac{n}{2}ln({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$
**2.**参数的范围与样本无关，考虑用微分法，进而对参数求偏导构造对数似然方程
$$\{\begin{array}{l}\frac{\partial [lnL(\mu ,{\sigma }^2)]}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu )=0\\ \frac{\partial [lnL(\mu ,{\sigma }^2)]}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n(x_i-\mu )=0\end{array}$$

**3.**解方程得到
$$\{\begin{array}{l}\hat{\mu }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{x}\\ \widehat{{\sigma }^2}=\frac{1}{n}{\sum }_{i=0}^n(x_i-\bar{x}{)}^2=s_n^2\end{array}$$

1.概述

对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合
概率分布；然后基于此模型，对给定的输入 x ，利用贝叶斯定理求出后验概率最大的输出 y

为方便描述，进行以下设定：

设训练数据集为
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$
输入为特征向量x，输出为类标记ci，满足以下关系
x ∈ χ ⊆ R n , Γ = { c 1 , c 2 , . . . , c K } i = 1 , 2 , . . . , K x \in \chi \subseteq R^n, \Gamma=\{c_1,c_2,...,c_K\} \\ i = 1,2,...,K x∈χ⊆Rn,Γ={c1​,c2​,...,cK​}i=1,2,...,K
斜体X：输入空间

大写伽马：输出空间

X:定义在输入空间上的随机向量

Y:定义在输出空间上的随机向量

那么P(X,Y)则表示X和Y的联合概率分布，且数据集T由独立同分布的P(X,Y)产生

2.朴素贝叶斯模型

1）一些概率分布

先验概率：
$$P(Y=c_i),i=1,2,...,K$$
条件概率分布：
$$\begin{gathered} P(X=x|Y=c_i)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_i) \\ i=1,2,...,K \end{gathered}$$
在朴素贝叶斯法下，假设了X的每个分量是独立的，因此有
$$\begin{gathered} P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_i) \\ ={\Pi }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_i) \end{gathered}$$
后验概率分布：

由贝叶斯公式，可得后验概率的表达式为
$$\begin{gathered} P(Y=c_i|X=x)=\frac{P(X=x|Y=c_i)P(Y=c_i)}{{\sum }_{i}P(X=x|Y=c_i)P(Y=c_i)} \\ =\frac{P(Y=c_i){\Pi }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)}{{\sum }_{i}P(Y=c_i){\Pi }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)} \end{gathered}$$

2）朴素贝叶斯分类器

表达式：
$$y=f(x)=arg\underset{c_i}{\max }\frac{P(Y=c_i){\Pi }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)}{{\sum }_{i}P(Y=c_i){\Pi }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)}$$
由于上式中分母对所有ci都是相同的，则表达式可简化为
$$y=arg\underset{c_i}{\max }P(Y=c_i){\Pi }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)$$
使用argmax的原因（后验概率最大化的原因）：

假设选择的损失函数为0-1损失函数（f(X)为分类决策函数）
$$L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$
则使得损失函数的期望风险最小化的过程就是对X=x逐个极小化， 推导过程表示如下：
$$\begin{gathered} f(x)=arg\underset{y\in \Gamma }{\min }\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x) \\ =arg\underset{y\in \Gamma }{\min }\sum _{k=1}^{K}P(y\ne c_k|X=x) \\ =arg\underset{y\in \Gamma }{\min }(1-P(y=c_k|X=x)) \\ =arg\underset{y\in \Gamma }{\max }P(y=c_k|X=x) \end{gathered}$$

3.学习过程

朴素贝叶斯法的学习过程为对先验概率和条件概率的估计，估计值为极大似然估计得到的值

1）先验概率的极大似然估计

表达式：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
简单推导过程：

假设
$$P(Y=c_k)=p,P(Y\ne c_k)=1-p$$
由独立性，连续抽样N次条件抽出M次P（Y=ck）下，则有似然函数
$$L(p)=P(Y)=C_N^M{p}^M(1-p{)}^{N-M}$$

取对数得
$$lnL(p)=ln(C_N^M)+Mln(p)+(N-M)ln(1-p)$$
对p求导得
$$\frac{dlnL(p)}{dp}=\frac{M}{p}-\frac{N-M}{1-p}$$
令导数为0，解得
$$p=\frac{M}{N}$$
记
$$M=\sum _{i=1}^{N}I(y_i=c_k)$$
可得
$$p=P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$

2）条件概率的极大似然估计

设第j个特征可能取值集合为
{ a j 1 , a j 2 , . . . , a j S j } \{a_{j1},a_{j2},...,a_{jS_j}\} {aj1​,aj2​,...,ajSj​​}
表达式：
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K \end{gathered}$$
推导过程：与先验概率的极大似然估计推导过程类似

严谨的推导过程感兴趣可前往知乎探索

4.算法

5.修正(有空补)