李航老师《统计学习方法》第二版第四章答案

其他章节答案请参考我的汇总统计学习方法答案汇总，都是自己写的。

1、使用极大似然估计法推出朴素贝叶斯法概率估计公式（4.8）以及公式（4.9）.

解答：概率估计公式（4.8）是：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
概率估计公式（4.9）是：
$$\begin{gathered} P(X^j=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K \end{gathered}$$

假设我们得到的训练数据集是：
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

1.1先来推导第一个公式（4.8）

首先，我们设
$$P(Y=c_k)={\theta }_k\text{\hspace{1em}(1)}$$
那么由公式（1）我们可得：
$$P(Y\ne c_k)=1-{\theta }_k\text{\hspace{1em}(2)}$$
现在假设训练集 $T$ 中的类别为 $c_k$ 的数量是 $n_k$,那么我们可以得到极大似然估计的似然函数是
$$\begin{gathered} P(y_1,y_2,...,y_N|{\theta }_k) \\ =\prod _{i=1}^{N}P(y_i|{\theta }_k)=({\theta }_k{)}^{n_k}(1-{\theta }_k{)}^{N-n_k}\text{\hspace{1em}(3)} \end{gathered}$$
为了方便计算，我们对公式（3）取对数，得到对数似然函数
$$LnP(y_1,y_2,...,y_N|{\theta }_k)=Ln({\theta }_k{)}^{n_k}(1-{\theta }_k{)}^{N-n_k}=n_{k}Ln{\theta }_k+(N-n_k)Ln(1-{\theta }_k)\text{\hspace{1em}(4)}$$
对公式（4）关于 ${\theta }_k$求导数，并且令导数为0，所以有
$$\frac{\partial LnP(y_1,y_2,...,y_N|{\theta }_k)}{\partial {\theta }_k}=\frac{n_k}{{\theta }_k}-\frac{N-n_k}{1-{\theta }_k}=0\text{\hspace{1em}(5)}$$
根据等式(5)解得
$${\theta }_k=\frac{n_k}{N}=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
所以概率估计公式（4.8）得证。其实，还要验证一下驻点是极大值点，但是显然是存在极大值的，我就省略了，老铁们！！！

1.2、推导朴素贝叶斯公式（4.9）

我们先将条件概率转化为联合概率
$$P(X^j=a_{jl}|Y=c_k)=\frac{P(X^j=a_{jl},Y=c_k)}{P(Y=c_k)}\text{\hspace{1em}(6)}$$
因为我们在1.1小节，已经推导出了$P(Y=c_k)$,那么我们现在只需要对$P(X^j=a_{jl},Y=c_k)$进行估计即可。
同样的，我们假设
$$P(X^j=a_{jl},Y=c_k)=\theta \text{\hspace{1em}(7)}$$
那么使得$(X^j=a_{jl},Y=c_k)$中任何一个等号不成立的概率就是$1-\theta$
所以，我们根据训练数据集$T$可以得到似然函数是
$$\begin{gathered} P((x_1^j,y_1),(x_2^j,y_2),...(x_1^j,y_N)) \\ =\prod _{i=1}^{N}P(x_i^j,y_i)={\theta }^n(1-\theta {)}^{N-n}\text{\hspace{1em}(8)} \end{gathered}$$
其中，$n$是使$X^j=a_{jl},Y=c_k$成立的数据的个数，也就是$n={\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)$
同样的为了方便计算，我们对公式（8）取自然对数得到对数似然函数，然后再关于$\theta$求导数得到驻点，验证下为唯一的极大值，就可以得到
$$\theta =\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{N}$$
然后联合公式(4.8),就可以得到（4.9）.

2、用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式（4.10）以及公式（4.11）.

解答：
训练集仍然是
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

2.1、优先进行（4.11）的推导

首先给出（4.11）的表达式
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(4.11)}$$
首先我们假设
$$P_{\lambda }(Y=c_k)=\theta \text{\hspace{1em}(1)}$$
接下来我们使用贝叶斯估计法估计参数 $\theta$ 的取值。
我们知道概率的取值是[0,1],因而我们假设$\theta$的先验分布的概率密度函数是均匀分布$p(\theta )=1$
我们要使用数据集$T$来估计随机变量 $\theta$ 的概率分布。
贝叶斯估计的思想就是先提前给出$\theta$的一个先验分布 $p(\theta )$，接着根据训练数据集 $T$ 来进行修正这个先验分布 $p(\theta )$.
由贝叶斯估计算法，我们可以得到以下的修正方法
$$P(\theta |T)=\frac{P(\theta ,T)}{P(T)}=\frac{P(\theta )P(T|\theta )}{P(T)}\text{\hspace{1em}(2)}$$
但是由于$P(T)$的取值是固定的，虽然我们不知道，我们不去计算这一项，而且我们还要使用极大化后验概率来给出一个$\theta$的具体的值。
所以有
$$P(\theta |T)\propto P(\theta )P(T|\theta )=P(T|\theta )\text{\hspace{1em}(3)}$$
其实也就是将贝叶斯估计进行极大似然的估计
$$P(Y\ne c_k)=1-\theta \text{\hspace{1em}(4)}$$
所以
$$P(y_1,y_2,...,y_N|\theta )={\theta }^{n_k+\lambda }(1-\theta {)}^{N-n_k+K\lambda }\text{\hspace{1em}(5)}$$
其中$n_k$是训练数据集中类标记$c_k$的数量。
如果使用极大化后验概率的的话，我们就得到
$$\begin{gathered} {\theta }^{\prime }=\underset{\theta }{\mathrm{argmax}}P(y_1,y_2,...,y_N|\theta ) \\ =\underset{\theta }{\mathrm{argmax}}{\theta }^{n_k+\lambda }(1-\theta {)}^{N-n_k+K\lambda }\text{\hspace{1em}(6)} \end{gathered}$$
在公式（6）的最会一部分取对数，然后极大化，可以得到
$$\theta =\frac{n_k+\lambda }{N+K\lambda }=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(7)}$$
得证！！！

2.2、证明（4.10）

这里直接从条件概率入手，设训练集 $T$ 中类标记$c_k$的数量为$n_{c_k}$,我们将数据集$T$中类标记是$c_k$的数据挑选出来构造新的数据集$$T_{c_k}=\{(x_{1c_k},c_k),(x_{2c_k},c_k),...,(x_{n_{c_k}{c}_k},c_k)\}$$
根据条件概率的性质我们有下式成立
$$P_{\lambda }(X^j=a_{jl}|Y=c_k,T)=P_{\lambda }(X^j=a_{jl}|T_{c_k})\text{\hspace{1em}(1)}$$
假设
$$P_{\lambda }(X^j=a_{jl}|T_{c_k})=\theta \text{\hspace{1em}(2)}$$
我们还是假设$\theta$的先验分布是均匀分布，概率密度函数是$p(\theta )=1$
所以有：
$$P(\theta |T_{c_k})=\frac{P(T_{c_k}|\theta )P(\theta )}{P(T_{c_k})}\propto P(T_{c_k}|\theta )P(\theta )\text{\hspace{1em}(3)}$$
还是和公式（4.11）的证明一样，我们还是使用后验概率极大化得到一个具体的$\theta$来表示。
所以
$${\theta }^{\prime }=\underset{\theta }{\mathrm{argmax}}{\theta }^{n+\lambda }(1-\theta {)}^{n_{c_k}+S_j\lambda -n-\lambda }\text{\hspace{1em}(4)}$$
其中$n$表示使$x_i^j=a_{jl}$成立的数量，也即是$$n=\sum _{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)\text{\hspace{1em}(5)}$$
$$n_{c_k}=\sum _{i=1}^{N}I(y_i=c_k)\text{\hspace{1em}(6)}$$
将公式（4）转化为对数求解，可以得到
$${\theta }^{\prime }=\frac{n+\lambda }{n_{c_k}+S_j\lambda }\text{\hspace{1em}(7)}$$
将公式（5）和公式（6）带入到公式（7）所以得到
$$P_{\lambda }(X^j=a_{jl}|Y=c_k,T)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
得证！！！