(三)贝叶斯分类器

贝叶斯分类器

——用极大似然估计训练类条件概率$P(X|Y=c_k)$:

在贝叶斯分类器$P(Y=c_k│X)=P(Y=c_k)P(X|Y=c_k)/P(X)$ 中, $P(Y=c_k)/P(X)$ 容易得到, 但是$P(X|Y=c_k)$仅通过随机抽样得到X是不准确的.

对于给定样本$X$, $P(X)$与类别标记$Y=c_k$无关可以直接计算, 因此估计$P(Y=c_k│X)$的问题就转化为如何基于训练数据$D$来估计先验概率$P(Y=c_k)$和类条件概率$P(X|Y=c_k)$.
{注意, 贝叶斯分类器没有假设$x_1,\dots ,x_n$相互独立, 即$P(X|Y=c_k)$不能直接由频率估计概率}

其中, $P(Y=c_k)$可以根据训练集各个样本$c_k$出现的频率当作其概率.
而直接用$Y=c_k$情况下随机抽样出来一组的$X^{\prime }$的频率, 来估计$P(X|Y=c_k)$是不可行的.(因为随机抽样出来一组的$X^{\prime }$的分布不能表示整体X’的分布)

估计类条件概率$P(x|c)$的一种常用策略是先假定其具有某种确定的概率分布形式, 再基于训练样本对概率分布的参数进行估计.

具体地, 记关于类别$c$的类条件概率$P(x|c)$具有确定的函数形式, 且被参数向量${\theta }_c$唯一确定. 则我们的任务就是利用训练集$D$来估计${\theta }_c$. 记$P(x|c)为P(x|{\theta }_c)$. 令$D_c$表示训练集$D$中第$c$类样本组成的集合, 假设这些样本是独立同分布的, 则参数${\theta }_c$对于数据集$D_c$的似然是:
$$P(D_c|{\theta }_c)=\prod _{x\in D_c}P(x|{\theta }_c)$$
对${\theta }_c$进行极大似然估计, 就是去寻找最大化$P(D_c|{\theta }_c)$的参数值${\hat{\theta }}_c$. 直观上看, 极大似然估计是试图在${\theta }_c$所有可能的取值中, 找到一个能使数据x出现的“可能性”最大的值${\hat{\theta }}_c$.
对上式使用对数似然:
$$LL({\theta }_c)=logP(D_c|{\theta }_c)=\sum _{x\in D_c}logP(x|{\theta }_c)$$
设参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为
$${\hat{\theta }}_c=argma{x}_{{\theta }_c}LL({\theta }_c)$$
举例来说, 设类条件概率$P(x|c)N({\mu }_c,{\sigma }_c^2)$, 则参数${\mu }_c$,${\sigma }_c^2$的极大似然估计值为:
$${\hat{\mu }}_c=\frac{1}{(|D_c|)}\sum _{x\in D_c}x=\frac{1}{N}\sum _{i=1}^N{x}_i$$
$${\hat{\sigma }}_c^2=\frac{1}{(|D_c|)}\sum _{x\in D_c}(x-{\hat{\mu }}_c)(x-{\hat{\mu }}_c{)}^T$$
需注意的是, 这种参数化的方法虽能使类条件概率估计变得相对简单, 但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布.