贝叶斯分类器

贝叶斯学习

常用概率公式

乘法规则

• $P(AB)=P(B)P(A|B)$
       $=P(A)P(B|A)$
       $=P(BA)$

全概率公式

• 若事件 $A_i$ 互斥，且 ${\sum }_{i=1}^{n}P(A_i)=1$
• 则 $P(B)={\sum }_{i=1}^{n}P(B|A_i)P(A_i)$
  
  

贝叶斯定理

先验概率

• $P(A)$ ：$A$ 的先验概率
• $P(B)$ ：$B$ 的先验概率

条件概率

• $P(A|B)$ ：$B$ 成立时 $A$ 的概率

后验概率

• $P(B|A)$ ：$A$ 成立时 $B$ 的概率

贝叶斯定理

• $P(B|A)=\frac{P(A|B)P(B)}{P(A)}$
  
  

定义变量

• 样本 $x$ 包含 $d$ 个属性，即 x = { x 1 , x 2 , . . . , x d } x=\{x_1,x_2,...,x_d\} x={x1​,x2​,...,xd​}
• 存在$N$ 种可能的类别标记， Y = { c 1 , c 2 , . . . , c N } Y=\{c_1,c_2,...,c_N\} Y={c1​,c2​,...,cN​}
• 先验概率 $P(c_i)$，条件概率 $P(x|c_i)$，后验概率 $P(c_i|x)$
  
  

风险

• 风险 = 原本为 $c_j$ 的样本误分类为 $c_i$ 产生的期望损失
• 期望损失 = 概率 × 损失
• 即风险 $R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x)$
• ${\lambda }_{ij}=0ifi=j$
      $1else$
• 总体风险：$R(h)={\mathbb{E}}_x(R(c|x))$
• 并且 $R(c|x)=1-P(c|x)$
  
  

贝叶斯最优分类器

为最小化总体风险，只需在每个样本上选择能够使条件风险最小的类别标记

• $h^{\ast }(x)=\arg {\min }_{c\in y}R(c|x)$
      $=\arg {\max }_{c\in y}P(c|x)$
• $h^{\ast }$ 称为贝叶斯最优分类器
  
  

朴素贝叶斯分类器

朴素贝叶斯分类器假设每个属性独立的对分类结果发生影响

• $P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}{\Pi }_{j=1}^{d}P(x_j|c)$
• 由于对于所有的类别 $P(x)$ 相同，所以：
• $h^{NB}(x)=\arg {\max }_{c\in Y}P(c){\Pi }_{j=1}^{d}P(x_j|c)$
  
  

极大似然估计 (MLE估计)

核心思想

• 样本集 D = { x 1 , x 2 , . . . , x N } D=\{x_1,x_2,...,x_N\} D={x1​,x2​,...,xN​} 固定且已知
• 待估计的模型参数 $\theta$ 固定且未知
• 输入：样本集 $D$ 和 模型参数 $\theta$
• 输出：似然函数
• 在模型参数 $\theta$ 所有可能的取值中
• 找到一个能使似然函数取得最大值的参数值

公式

• 参数 $\theta$ 对于数据集 $D$ 的似然：
• $L(\theta )\triangleq p(D|\theta )={\Pi }_{i=1}^{N}p(x_i|\theta )$
• $p(D|\theta )$ 为联合密度函数

对数似然公式

• $LL(\theta )=\log L(\theta )={\sum }_{i=1}^N\log p(x_i|\theta )$
• $\hat{\theta }=\arg {\max }_{\theta }LL(\theta )$

求解似然函数

• 若似然函数连续、可微
• 则解为：$\frac{\mathrm{d}(L(\theta ))}{\mathrm{d}\theta }=0$ 或 $\frac{\mathrm{d}(LL(\theta ))}{\mathrm{d}\theta }=0$ 的解
  
  

最大后验概率估计 (MAP估计)

核心思想

• 样本集 $D$ 固定且已知
• 待估计的模型参数 $\mu$ 固定且未知
• 输入：样本集 $D$ 和 模型参数 $\mu$
• 输出：似然函数
• 在模型参数 $\mu$ 所有可能的取值中
• 找到一个能使似然函数取得最大值，并且 $\mu$ 的先验概率最大的的参数值

公式

• ${\hat{\mu }}_{MAP}=\arg {\max }_{\mu }p(\mu |D)$
      $=\arg {\max }_{\mu }\frac{p(D|\mu )p(\mu )}{p(D)}$
      $=\arg {\max }_{\mu }p(D|\mu )p(\mu )$

求解MAP函数

• 若MAP函数连续、可微
• 则解为：目标函数=0 的解