机器学习——贝叶斯分类器

一、贝叶斯决策论

  贝叶斯决策论是概率框架下实施决策的基本方法。
  假设有$N$种可能的类别标记，即 Y = { c 1 , c 2 , . . . , c N } Y=\{c_1,c_2,...,c_N \} Y={c1​,c2​,...,cN​}，${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P(c_i|\mathbf{x})$可获得将样本$\mathbf{x}$分类为$c_i$所产生的期望损失，即在样本$\mathbf{x}$上的“条件风险”
$$R(c_i|\mathbf{x})=\sum _{j=1}^N{\lambda }_{ij}P(c_j|\mathbf{x})$$

为最小化总体风险，只需要在每个样本上选择能使条件风险$R(c|\mathbf{x})$最小的类别标记。

  即，$h^{\ast }(\mathbf{x})=argmi{n}_{x\in Y}R(c|\mathbf{x})$

$h^{\ast }$被称为贝叶斯最优分类器，与之对应的总体风险被称为贝叶斯风险

  若要使用贝叶斯判定准则来最小化决策风险，首先要获得后验概率$P(c|\mathbf{x})$，但是在现实任务中难以直接获得。所以机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率$P(c|\mathbf{x})$。

  解决上述问题有两种策略:

	判别式模型	生成式模型
思路	直接对$P(c|\mathbf{x})$建模	先对联合概率分布$P(\mathbf{x},c)$建模，再由此获得$P(c|\mathbf{x})$
代表算法	1、决策树 2、BP神经网络 3、SVM	贝叶斯分类器

贝叶斯分类器$\ne$贝叶斯学习

二、极大似然估计

1、贝叶斯主义认为：分布的参数是分布情况；
2、频率主义包括统计学习；
3、极大似然估计是统计学的一大贡献；
4、极大似然估计需要假设某种概率分布形式。

  估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。
  假设$P(\mathbf{x}|c)$具有确定的形式并且被参数向量${\mathbf{\theta }}_c$唯一确定，则需要利用训练集$D$估计参数${\mathbf{\theta }}_c$.
  令$D_c$表示训练集$D$中第$c$类样本组成的集合，假设这些样本是独立同分布的，则参数${\mathbf{\theta }}_c$对于数据集$D_c$的似然是
$$P(D_c|{\mathbf{\theta }}_c)=\prod _{\mathbf{x}\in D_c}P(\mathbf{x}|{\mathbf{\theta }}_c)$$
  对${\mathbf{\theta }}_c$进行极大似然估计，最大化似然$P(D_c|{\mathbf{\theta }}_c)$的参数值${\hat{\mathbf{\theta }}}_c$.极大似然估计是在${\mathbf{\theta }}_c$所有可能取值中，找到一个能使数据出现的“可能性”最大的值。
  但是上式中的连乘操作易造成下溢，通常使用对数似然(log-likelihood)
$$LL({\mathbf{\theta }}_c)=\log P(D_c|{\mathbf{\theta }}_c)=\sum _{\mathbf{x}\in D_c}\log P(\mathbf{x}|{\mathbf{\theta }}_{\mathbf{c}})$$
  此时，参数${\mathbf{\theta }}_c$的极大似然估计${\hat{\mathbf{\theta }}}_c$为
$${\hat{\mathbf{\theta }}}_c=\arg \underset{{\mathbf{\theta }}_c}{\max }LL({\mathbf{\theta }}_c)$$

三、朴素贝叶斯分类器

$P(\mathbf{x}|c)$的主要障碍：所有属性上的联合概率难以从有限训练样本估计获得；计算上组合爆炸；数据上样本稀疏；属性越多，问题越严重。

  朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立，即假设每个属性独立地对分类结果发生影响。基于属性条件独立性假设：
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P(x_i|c)$$
  其中$d$为属性数目，$x_i$为$\mathbf{x}$在第$i$个属性上的取值。
  由于对于所有类别来说$P(\mathbf{x})$相同，因此贝叶斯判定准则有：
$$h_{nb}(\mathbf{x})=\arg \underset{c\in Y}{\max }P(x)\prod _{i=1}^{d}P(x_i|c)$$
  这即为朴素贝叶斯分类器的表达式。
  朴素贝叶斯分类器的训练过程就是基于训练集$D$来估计类先验概率$P(c)$，并为每个属性估计条件概率$P(x_i|c)$.
  令$D_c$表示训练集$D$中第$c$类样本组成的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率
$$P(c)=\frac{|D_c|}{D}$$
  离散属性：令$D_{c,x_i}$表示$D_c$中在第$i$个属性上取值为$x_i$的样本组成的集合，则条件概率$P(x_i|c)$可估计为
$$P(x_i|c)=\frac{|D_{c,x_i}|}{D_c}$$
连续属性：可考虑概率密度函数

四、拉普拉斯修正

  为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值时通常要进行“平滑”，常用“拉普拉斯修正”。
  具体来说，令$N$表示训练集$D$中可能得类别数，$N_i$表示第$i$个属性可能的取值数，则
$$\hat{P}(c)=\frac{|D_c|+1}{|D|+N}$$
$$\hat{P}(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i}$$
  拉普拉斯修正避免了因训练集样本不充分而导致概率估值为零的问题，并且在训练集变大时，修正过程所引入的先验的影响也会逐渐变得可忽略，使得估值逐渐趋向于实际概率值。

拉普拉斯修正实质上假设了属性值与类别均匀分布，这是在朴素贝叶斯学习过程中额外引入的关于数据的先验。