机器学习第七章----贝叶斯分类器

1、贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，若其相关概率已知，贝特斯决策论基于这些概率和误判损失来选择最优的类被标记。假设有n种可能的类别标记，即$y=${$c_1,c_2,\dots \dots ,c_N$},假设将标记为$c_j$的样本分类为$c_i$所产生的损失为${\lambda }_{ij}$，则将样本分为$c_i$产生的总期望损失，也称为样本的条件风险，为$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)$$我们的任务就是寻找一个判定准则h，使总体风险最小。显然，若每个样本的条件风险都最小，则总体风险一定是最小的。这就产生了贝叶斯判定准则，为最小化总体风险，只需在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即$$h^{\ast }(x)=\underset{c\in y}{\mathrm{argmin}}R(c|x)$$与之对应的总体风险$R(h^{\ast })$称为贝叶斯风险，$1-R(h^{\ast })$反映了分类器所能达到的最好性能。
但想要通过上述方法来判定，很明显我们首先要知道样本的后验概率，然而，在现实任务中这通常很难获得，所以我们要尽可能准确地估计出后验概率，一般来说有两种方法，第一种，给定$x$可通过直接建模$P(c|x)$来预测c,这样得到的是"判别式模型"，第二种方法是先对联合概率分布$P(x,c)$建模，然后得到$P(c|x)$,这样得到的是"生成式模型"。对生成式模型来说，假设$P(c)$是类先验概率，$P(x|c)$是样本x关于类标记c的类条件概率，有$$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}$$
对类条件概率$P(x|c)$来说，直接根据样本出现的频率来估计得到的结果是很糟糕的。假设样本的$d$个属性都是二值的，则样本空间将会有$2^d$种可能的取值，在现实任务中，可能的取值往往远大于训练样本数目，很多样本取值在训练集中根本没有出现，所以直接用频率来估计$P(x|c)$是不可行的，那么怎么估计$P(x|c)$呢？

2、极大似然估计

估计类条件概率的一种常用方法是先假设其具有某种概率分布，然后再根据样本确定概率分布的参数。比如，记类别c的类条件概率为$P(x|c)$,假设$P(x|c)$具有某种确定的形式并且被参数向量${\theta }_c$唯一确定,记$P(x|c)$为$P(x|{\theta }_c)$,统计学的两个学派分别提供了不同的解决方案：频率主义学派认为参数是客观存在的固定值，贝叶斯学派认为参数是随机变量，本身也有分布，因此假设参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布。下面来看一下源自频率主义学派的极大似然估计：
令$D_c$表示训练集$D$中第$c$类样本组成的集合，假设这些样本是独立同分布的，则参数${\theta }_c$对于数据集$D_c$的似然是$$P(D_c|{\theta }_c)=\prod _{x\in D_c}P(x|D_c)$$对 ${\theta }_c$ 进行极大似然估计，就是寻找能最大化$P(D_c|{\theta }_c)$的参数值 ${\hat{\theta }}_c$。直观上看，是在${\theta }_c$所有可能的取值中，寻找使数据出现的可能性最大的那一个。上式中的连乘操作很有可能得到一个很小的值，由于我们取值的规则，有可能将一个很小的数四舍五入为零，导致下溢现象的发生，因此通常使用对数似然，记$$LL({\theta }_c)=logP(D_c|{\theta }_c)=\sum _{x\in D_c}logP(x|{\theta }_c)$$此时参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为$${\hat{\theta }}_c=\underset{{\theta }_c}{argmax}LL({\theta }_c)$$

3、朴素贝叶斯分类器

基于贝叶斯公式来估计后验概率$P(c|x)$ 的主要困难在于类条件概率$P(x|c)$难以计算，为避开这个障碍，朴素贝叶斯分类器假设同一类别里的所有属性相互独立，那么$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i|c)$$其中d为属性数目，$x_i$为$x$在第i个属性的取值。由于对所有类别来说$P(x)$相同，因此$h^{\ast }(x)$可改写为$$h^{\ast }(x)=\underset{c\in y}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P(x_i|c)$$
这就是朴素贝叶斯分类器的表达式。显然，我们的任务就是基于训练集$D$来估计类先验概率$P(c)$,并为每个属性估计条件概率$P(x_i|c)$。令$D_c$表示训练集$D$中第$c$类样本组成的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率$$P(c)=\frac{|D_c|}{D}$$对离散属性而言，令$D_{c,x_i}$表示$D_c$中在第i个属性上取值为$x_i$地样本组成的集合，则条件概率$P(x_i|c)$可估计为$$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$
对连续属性，我们可以根据它的概率密度函数来计算，假设$P(x_i|c)\sim N({\mu }_{c,i},{\sigma }_{c,i}^2)$,其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$分别是第$c$类样本在第$i$个属性上取值的均值和方差，则有$$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}^2}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$

4、半朴素贝叶斯分类器

在朴素贝叶斯分类器中，我们假设属性是相互独立的，但在现实任务中这个假设往往很难成立，于是就出现了半朴素贝叶斯分类器。半朴素贝叶斯分类器的思想是适当考虑一部分属性间的相互依赖信息.
最常用的策略是“独依赖估计”，假设每个属性在类别之外可多依赖一个属性,假设$p{a}_i$为属性$x_i$所依赖的属性，称为$x_i$的父属性，此时，对每个属性$x_i$,若其父属性$p{a}_i$已知，则$$P(x|c)\propto P(c)\prod _{i=1}^{d}P(x_i|c，p{a}_i)$$我们的主要问题就转化成确定每个属性的父属性，解决方法有很多种，不同解法产生不同的独依赖分类器。

最直接的方法是假设所有属性都依赖于同一个属性，称为“超父”(SPODE)， 然后通过交叉验证等模型选择方法来确定超父属性，一个个地将尝试将属性作为超父属性，比较他们的效果，最终选择出最合适的一个属性来作为超父属性。

TAN 引入了条件互信息这一参数来帮助寻找父属性，它确定父属性的具体步骤如下：

1. 计算任意两个属性间的条件互信息$$I(x_i,x_j|y)=\sum _{x_i,x_j;c\in y}P(x_i,x_j|c)$$
2. 以属性为节点构造完全图，任意两结点之间的权重设为$I(x_i,x_j|y)$
3. 构建此完全图的最大带权生成树，挑选根变量，将边置为有向
4. 加入类别结点$y$，增加从$y$到每个属性的有向边。

条件互信息$I(x_i,x_j|y)$刻画了属性$x_i$和$y_i$在已知类别情况下的相关性，
AODE是一种基于集成学习机制，更为强大的独依赖分类器。不是通过模型选择确定超父属性不同，AODE尝试将每个属性作为超父来构建SPODE，然后将具有足够训练数据支撑的SPODE集成起来作为最终结果。设定一个阈值常数$m^{{}^{\prime }}$,于是$$P(c|x)\propto \sum _{i=1,|D_{x_i}|\ge m^{{}^{\prime }}}^{d}P(c,x_i)\prod _{j=1}^{d}P(x_j|c,x_i)$$显然，AODE需估计$P(c,x_i)$与$P(x_j|c,x_i)$。$$\hat{P}(z,x_i)=\frac{|D_{c,x_i}|+1}{|D|+N\ast N_i}$$$$\hat{P}(x_j|c,x_i)=\frac{|D_{c,x_i,x_j}|+1}{|D_{c,x_i}|+N_j}$$
不难看出，与朴素贝叶斯分类器类似，AODE的训练过程也是在训练数据集上对符合条件的样本进行计数的过程，AODE无需模型选择，能通过预计算节省预测时间。

5、贝叶斯网

贝叶斯网亦称信念网，它借助有向无环图来刻画属性间的依赖关系，并使用条件概率表来描述属性的联合概率分布。一个贝叶斯网$B$由结构$G$和参数 $\Theta$ 两部分组成，网络结构$G$是一个有向无环图，每个结点对应于一个属性，若两个属性有直接依赖关系，则它们由一条边来连接起来；参数 $\Theta$ 定量描述这种关系,假设属性$x_i$在$G$中的父结点集为${\pi }_i$，则$\Theta$包含每个属性的条件概率表 ${\theta }_{x_i|{\pi }_i}=P_B(x_i|{\pi }_i)$

5.1 结构

贝叶斯网络结构有效地表达了属性间的条件独立性。给定父节点集，贝叶斯网假设每个属性与它的非后裔属性独立,则它的联合概率定义为$$P_B(x_1,x_2,\dots \dots ,x_d)=\prod _{i=1}^d{P}_B(x_i|{\pi }_i)=\prod _{i=1}^d{\theta }_{x_i|{\pi }_i}$$

贝叶斯网中三个变量间的典型依赖关系如下：

在"同父"结构中，给定父结点$x_1$的取值，则$x_3$与$x_4$条件独立。在“顺序结构”中，给定$x$的值，则$y$与$z$条件独立，V 型结构亦称“冲撞”结构，若给定$x_4$的值，则$x_1,x_2$必不独立，但若$x_4$的取值完全未知，$x_1,x_2$却是相互独立的。$$P(x_1,x_2)=\sum _{x_4}P(x_1,x_2,x_4)=\sum _{x_4}P(x_4|x_1,x_2)P(x_1)P(x_2)=p(x_1)P(x_2)$$这样的独立性称为“边际独立性”，在实际任务中，一个变量的值是否确定，能对另两个变量间的独立性发生影响的现象有很多。比如在同父结构中，给定$x_1$的取值，$x_3$与$x_4$条件独立，但若$x_1$的取值未知，则$x_3$与$x_4$就不独立。

为了分析有向图中变量间的条件独立性，我们可以先使用"有向分离"把有向图转变为一个无向图：

$\cdot$ 找出有向图中所有的V型结构，在V型结构的两个父结点之间加上一条无向边；
$\cdot$ 将所有有向边改为无向边。

由此产生的无向图称为“道德图”，令父结点相连的过程称为“道德化”。基于道德图能直观迅速地找到变量间的条件独立性。假定道德图中有变量x,y和变量集合$z=${$z_i$},若从道德图中将集合z去除后，x和y分属两个连通分支，则称变量x和y被z有向分离，$x\perp y|z$成立。

5.2 学习

若网络结构已知，即属性间的依赖关系已知，那我们只需对每个结点的条件概率表进行估计即可，但在现实生活中我们往往不知道网络结构，于是，我们的首要任务是根据训练数据集来寻找最恰当的贝叶斯网，常用的办法是先定义一个评分函数，以此来估计贝叶斯网和训练数据之间的契合程度，然后基于这个评分函数来寻找结构最优的贝叶斯网。
常用评分函数通常基于信息论准则，它将学习问题看作一个数据压缩任务，学习的目标是找到一个能以最短编码长度描述训练数据的模型，编码的长度包括了描述模型自身所需的字节长度和使用该模型描述数据所需的字节长度。选择编码综合长度最短的贝叶斯网，这就是"最小描述长度"准则。
给定训练集 $D=${$x_1,x_2,\dots \dots ,x_m$},贝叶斯网$B=<G,\Theta >$定义在$D$上的评分函数为$$\begin{gathered} s(B|D)=f(\theta )|B|-LL(B|D) \\ LL(B|D)=\sum _{i=1}^{m}log{P}_B(x_i) \end{gathered}$$其中，$f(\theta )$描述每个参数 $\theta$所需的字节数，$|B|$是贝叶斯网的参数个数。显然，第一项计算的是编码贝叶斯网B所需要的字节数，第二项$LL(B|D)$是贝叶斯网B的对数似然。很明显，我们希望第一项尽可能小，第二项尽可能大，于是，我们的任务就变成了寻找一个使$s(B|D)$最小的贝叶斯网。
若$f(\theta )=1$,即每个参数用1字节描述，则得到AIC评分函数$$AIC(B|D)=|B|-LL(B|D)$$若$f(\theta )=\frac{1}{2}logm$,即每个参数用$\frac{1}{2}logm$字节描述，则得到BIC评分函数$$BIC(B|D)=\frac{logm}{2}|B|-LL(B|D)$$
若$f(\theta )=0$，则我们的任务就变成了求极大似然估计。

当网络结构固定时，评分函数的第一项为常数，这是，我们只需对参数$\Theta$求极大似然估计就可最小化$s(B|D)$。参数${\theta }_{x_i|{\pi }_i}$能直接在训练数据D上通过经验估计获得，即$${\theta }_{x_i|{\pi }_i}={\hat{P}}_D(x_i|{\pi }_i)$$因此，我们直接在训练集上进行计算就能找到最优参数了。

5.3 推断

贝叶斯网训练好之后就能通过一些属性变量的观测值来推测其他属性变量的取值。比如在西瓜问题中，我们观测到西瓜色泽青绿，敲声浊响，想知道它是否成熟、甜度如何。这样通过已知变量来推测待查询变量的过程称为推断，已知变量的观测值称为"证据"。
最理想的是直接根据贝叶斯网定义的联合概率分布来精确计算后验概率，但这种方法实现起来比较困难，此时需借助“近似推断”，通过降低精度要求，在有限的时间内求得近似解，在现实应用中，贝叶斯网得近似推断常使用“布吉斯采样”来完成，下面看一下它是如何工作的。
令$Q=${$Q_1,Q_2,\dots \dots ,Q_n$}表示待查询变量，$E=${$E_1,E_2,\dots \dots ,E_k$}为证据变量，已知其取值为$e=${$e_1,e_2,\dots \dots ,e_k$},

6、EM算法

在之前的讨论中，我们一直假设训练样本所有属性变量的值都已被观测到， 但在现实任务中，往往会遇到不完整的训练样本。对于这种存在“未观测”变量的情形，怎么对模型参数进行估计呢？
未观测变量的学名是“隐变量"，令X表示已观测变量集，Z表示隐变量集，$\Theta$表示模型参数，若欲对$\Theta$做极大似然估计，则应最大化$$LL(\Theta |X,Z)=lnP(X,Z|\Theta )$$由于Z是隐变量，上式无法直接求解，此时我们可以通过对z计算期望来最大化已观测数据的对数似然，$$LL(\Theta |X)=lnP(X|\Theta )=ln\sum _{Z}P(X,Z|\Theta )$$
EM算法时常用的估计参数隐变量的利器，它是一种迭代式的方法，其基本想法是：若参数 $\Theta$ 已知，则可根据训练的数据推断出最优隐变量z的值，反之，若z的值已知，则可方便地对参数 $\Theta$ 做极大似然估计。

于是，以初始值 ${\Theta }^0$ 为起点，可迭代执行以下操作直至收敛：

$\bullet$ 基于 ${\Theta }^t$ 推断隐变量z的期望，记为$Z^t$
$\bullet$ 基于已观测变量X和$Z^t$对参数$\Theta$做极大似然估计，记为${\Theta }^{t+1}$

若我们不是取Z的期望，而是基于${\Theta }^t$计算隐变量z的概率分布$P(Z|X,{\Theta }^t)$,则EM算法的两个步骤是:
$\bullet$ E步：以当前参数${\Theta }^t$推断隐变量分布$P(Z|X,{\Theta }^t)$,并计算对数似然$LL(\Theta |X,Z)$关于Z的期望$$Q(\Theta |{\Theta }^t)=E_{Z|X,{\Theta }^t}LL(\Theta |X,Z)$$
$\bullet$ 寻找参数最大化期望似然，即$${\Theta }^{t+1}=\underset{\Theta }{\mathrm{argmax}}Q(\Theta |{\Theta }^t)$$
简单来说，EM算法使用两个步骤交替计算：第一步利用当前估计的参数值来计算对数似然的期望值；第二步是寻找能使E步产生的似然期望最大化的参数值。然后得到的参数值重新用于E步，直至收敛至局部最优解。