统计学习方法第四章

朴素贝叶斯法

设输入空间 $\mathcal{X}\subseteq {\mathbf{R}}^n$ 为 $n$ 维向量的集合, 输出空间为类标记集合 $\mathcal{Y}=$ { c 1 , c 2 , ⋯   , c K } \left\{c_{1}, c_{2}, \cdots, c_{K}\right\} {c1​,c2​,⋯,cK​} 。输入为特征向量 $x\in \mathcal{X}$, 输出为类标记（class label） $y\in {\mathcal{Y}}_{\circ }X$是定义在输入空间 $\mathcal{X}$ 上的随机向量, $Y$ 是定义在输出空间 $\mathcal{Y}$ 上的随机变量。 $P(X,Y)$ 是 $X$ 和 $Y$ 的联合概率分布。

$c_i$ : $Y$的集合中的元素

假设 $x^{(j)}$ 可取值有 $S_j$ 个

第 $j$ 个特征 $x^{(j)}$ 可能取值的集合为 $\left\{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\right\}$

$a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值

极大似然估计

1. 先验概率

   • $P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\cdots ,K$

2. 条件概率

   • $P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}$
     $j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K$

3. 判断类

   • $y=\arg {\max }_{c_k}P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)$

贝叶斯估计

1. 先验概率
   • $P_{\lambda }\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }$
2. 条件概率
   • $P_{\lambda }\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }$
3. 判断类
   • $y=\arg {\max }_{c_k}P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)$

贝叶斯估计补充：

1. 验证其为概率分布
   • $P_{\lambda }\left(X^{(j)}=a_{jl}\mid Y=c_k\right)>0$
     ${\sum }_{l=1}^{S_j}P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=1$
2. $\lambda >0$
3. $S_j$ $x^{(j)}$ 可取值的数量