李航《统计学习方法》第4章习题答案参考

第 4 章 朴素贝叶斯法

---

浅谈极大似然估计与贝叶斯估计

极大似然估计：频率学派，认为参数是确定存在只是未知的，并且觉得出现的状态假设是按概率最大的情况出现的，所以对极大似然函数求极值就可以得到参数$\theta$.(下述$D$为训练数据集)

$$\theta_{MLE} = argmax_{\theta} P(D|\theta)$$

贝叶斯估计 ： 贝叶斯学派，认为参数是不确定的，也是一个随机变量，所以给定输入不能得到输出，只能根据先验概率得出输出的期望：

$$E[y|x,D] = \int P(y|x,\theta) P(\theta|D) d\theta$$
所以呢，想要求后验概率 $P(\theta|D)$, 想起贝叶斯公式：
$$P(\theta|D) = \frac{P(D|\theta)\cdot P(\theta)}{P(D)} = \frac{P(D|\theta)\cdot P(\theta)}{\int P(D|\theta)\cdot P(\theta) d\theta}$$
但是积分看到就烦，而且不好计算，还可能不存在解析解，所以呢，就将就一下，转而求极大后验概率：
$$\theta_{MAP} = argmax_{\theta} P(D|\theta)P(\theta)$$

乍一看，两类估计非常相似，为什么要提贝叶斯估计呢，是因为有时概率是做分母的，比如NLP中，测试集中包含训练集里没有的词，然后概率就为0了，NB里面，是假设i.i.d的，有一个为0就没得算了,在进行模型评估的时候计算一个pvalue，你也麻烦了。所以呢，一般需要对数据进行平滑化处理，常用的是Laplace换句话说就是add-one smoothing 就是管你什么情况 对于所有的词我都默认出现过一次了.

说起这个，由于出现频次太低，语料库有比较大的时候，可能出现下溢出。就是太太太小了，都约为0 那还比个什么啊，所以这个应对措施是取对数.

---

4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式（4.8）及（4.9）.

P.S $P(Y=c_k)=\frac{\sum_{i=1} ^N I(y_i = c_k)} { N} (4.8)$ ;
P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck