李航《统计学习方法》第4章习题答案参考

第 4 章 朴素贝叶斯法

---

浅谈极大似然估计与贝叶斯估计

极大似然估计：频率学派，认为参数是确定存在只是未知的，并且觉得出现的状态假设是按概率最大的情况出现的，所以对极大似然函数求极值就可以得到参数$\theta$.(下述$D$为训练数据集)

$$\theta_{MLE} = argmax_{\theta} P(D|\theta)$$

贝叶斯估计 ： 贝叶斯学派，认为参数是不确定的，也是一个随机变量，所以给定输入不能得到输出，只能根据先验概率得出输出的期望：

$$E[y|x,D] = \int P(y|x,\theta) P(\theta|D) d\theta$$
所以呢，想要求后验概率 $P(\theta|D)$, 想起贝叶斯公式：
$$P(\theta|D) = \frac{P(D|\theta)\cdot P(\theta)}{P(D)} = \frac{P(D|\theta)\cdot P(\theta)}{\int P(D|\theta)\cdot P(\theta) d\theta}$$
但是积分看到就烦，而且不好计算，还可能不存在解析解，所以呢，就将就一下，转而求极大后验概率：
$$\theta_{MAP} = argmax_{\theta} P(D|\theta)P(\theta)$$

乍一看，两类估计非常相似，为什么要提贝叶斯估计呢，是因为有时概率是做分母的，比如NLP中，测试集中包含训练集里没有的词，然后概率就为0了，NB里面，是假设i.i.d的，有一个为0就没得算了,在进行模型评估的时候计算一个pvalue，你也麻烦了。所以呢，一般需要对数据进行平滑化处理，常用的是Laplace换句话说就是add-one smoothing 就是管你什么情况 对于所有的词我都默认出现过一次了.

说起这个，由于出现频次太低，语料库有比较大的时候，可能出现下溢出。就是太太太小了，都约为0 那还比个什么啊，所以这个应对措施是取对数.

---

4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式（4.8）及（4.9）.

P.S $P(Y=c_k)=\frac{\sum_{i=1} ^N I(y_i = c_k)} { N} (4.8)$ ;
$P(X^{(j)} = a_{jl} | Y=c_k )=\frac{\sum^N_{i=1} I(x_i ^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^N I(y_i = c_k)}\quad j=1,2,\cdots,n;\;l=1,2,\cdots,S_j;\;k=1,2,\cdots,K (4.9)$

证明：（4.8）
记 $p=P(y=c_k),q=P(x_1^{(j)}=a_{jl}|y_i = c_k)$,$m=\sum_{i=1}^N I(y_i=c_k)$, $n=\sum _{i=1}^N I(x_i^{(j)}=a_{jl},y_i=C_k)$，
$M$为我们假设的概率模型;
根据极大似然估计，我们认为$y$独立同分布，似然函数为：

$$\begin{align} P = P(y_1,y_2,\cdots,y_N|M) &= P(y_1|M)P(y_2|M)\cdots P(y_N|M) \\ &= p^m\cdot\ (1-p)^{N-m} \end{align}$$
对 $P$取对数,并求导，令导数为0求$p$的极大似然:
$$\frac{\partial logP}{\partial p} = \frac{m}{p}-\frac{N-m}{1-p} =0$$
求得 $p=\frac{m}{N}$,即 $P(Y=c_k)=\frac{\sum_{i=1} ^N I(y_i = c_k)} { N}$.

（4.9）

$$\begin{align} P &= P(x_1^{(j)},x_2^{(j)},\cdots,x_m^{(j)}|y_i=c_k, M) \\ &= P(x_1^{(j)}|y_i=c_k,M)P(x_2^{(j)}|y_i=c_k,M)\cdots P(x_m^{(j)}|y_i=c_k,M) \\ &= q^n\cdot\ (1-q)^{m-n} \end{align}$$
同上可得 $q=\frac{n}{m}$,即 $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^N I(x_i^{(j)}=a_{jl},y_i=C_k)} { \sum_{i=1}^N I(y_i=c_k)}$.

4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率公式（4.10）及（4.11）

P.S 条件概率的贝叶斯公式：

$$P(X^{(j)} = a_{jl} | Y=c_k )=\frac{\sum^N_{i=1} I(x_i ^{(j)}=a_{jl},y_i=c_k) + \lambda}{\sum_{i=1}^N I(y_i = c_k)+ S_j \lambda} (4.10)$$
显然 $\forall l = 1, 2, \cdots, S_j,\; k=1,2,\cdots, K,$有:
$$P_{\lambda}(X^{(j)}=a_{jl}| Y=c_k) > 0\\ \sum_{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1$$
这表明（4.10）为一个概率分布
先验概率的贝叶斯估计：
$$P_{\lambda}(Y=c_k)=\frac{\sum^{N}_{i=1} I(y_i=c_k) + \lambda}{N+ K \lambda} (4.11 )$$

证明：(记号同上一题)$Y$的取值一共有$K$种情况，$\lambda$表示各种情况的取值初始值,即每种情况都有$\lambda$次发生，所以$\theta$的先验概率为：$P(\theta)=p^{\lambda}(1-p)^{(K-1)\lambda}$

$$\begin{align} P(D|\theta)P(\theta) &= P(y_1,y_2,\cdots,y_N|D)P(\theta) \\ &= P(y_1|D)P(y_2|D)\cdots P(y_N|D)P(\theta) \\ &= p^{m+\lambda}\cdot\ (1-p)^{N-m+(k-1)\lambda} \end{align}$$
同上题求极值得： $P_{\lambda}(Y=c_k)=\frac{\sum^{N}_{i=1} I(y_i=c_k) + \lambda}{N+ K \lambda}$
同理可证(4.10)式.