周志华西瓜书《机器学习》习题提示——第7章

习题提示

7.1：
设前三个属性（色泽，根蒂，敲声）分别为$x_1,x_2,x_3$，类别（好瓜，坏瓜）分别为$c_1,c_2$，由【西瓜书(7.16)(7.17)】式求类条件概率的估值。

7.2：
最优贝叶斯分类器为：
$$\begin{array}{r}{h}^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|\mathbf{x})\end{array}\text{\hspace{1em}(1)}$$

朴素贝叶斯分类器是指式(1)中$P(c|(\mathbf{x})$满足：
$$\begin{array}{rl}p(c|\mathbf{x})& =\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P(x_i|c)\end{array}\text{\hspace{1em}(2)}$$
式(2)是在属性条件独立假设下推导的。 当该假设不满足时，有：
$$\begin{array}{rl}p(c|\mathbf{x})& =\frac{P(c)}{P(\mathbf{x})}P(\mathbf{x}|c)\\ & =\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P(x_i|c,x_{1:(i-1)}),x_{1:(i-1)}=(x_1,x_2,\cdots ,x_{i-1})\end{array}\text{\hspace{1em}(3)}$$

现考虑二分类问题：

朴素贝叶斯分类器演变为：
$$\begin{array}{r}{h}^{\ast }(\mathbf{x})=\{\begin{array}{l}{c}_1,\left(\frac{P(c_1)}{P(c_2)}\prod _{i=1}^d\frac{P(x_i|c_1)}{P(x_i|c_2)}⩾1\right)\\ c_2,\left(\frac{P(c_1)}{P(c_2)}\prod _{i=1}^d\frac{P(x_i|c_1)}{P(x_i|c_2)}<1\right)\end{array}\end{array}\text{\hspace{1em}(4)}$$

最优贝叶斯分类器（无属性条件独立的假设）演变为：
$$\begin{array}{r}{h}^{\ast }(\mathbf{x})=\{\begin{array}{l}{c}_1,\left(\frac{P(c_1)}{P(c_2)}\prod _{i=1}^d\frac{P(x_i|c_1,x_{1:(i-1)})}{P(x_i|c_2,x_{1:(i-1)})}⩾1\right)\\ c_2,\left(\frac{P(c_1)}{P(c_2)}\prod _{i=1}^d\frac{P(x_i|c_1,x_{1:(i-1)})}{P(x_i|c_2),x_{1:(i-1)}}<1\right)\end{array}\end{array}\text{\hspace{1em}(5)}$$

显然，当下式(6)时，可由式(4)代替式(5)。
$$\begin{array}{r}\frac{P(x_i|c_1,x_{1:(i-1)})}{P(x_i|c_2,x_{1:(i-1)})}\approx \frac{P(x_i|c_1)}{P(x_i|c_2)}\end{array}\text{\hspace{1em}(6)}$$
而式(6)（保持比例不变）在有些情况下是成立或近似成立的，故题述结论成立。

7.3：
修正的统计式为【西瓜书(7.19)(7.20)】。

7.4：
本题为开放式讨论，如：取对数，类似于对数似然；用主成分分析法，选取$d$个属性；降维的方法；等等。

7.5：
参见7.2 再谈线性判别分析（高斯分布下的线性判别分析LDA实现了贝叶斯分类器）。

7.6：AODE:先用【西瓜书(7.24)(7.25)】对训练集中的数据进行“计数”，再用【西瓜书(7.23)】计算得到概率$P(c_i|\mathbf{x})$，取使概率最大的类别$c_i$。

7.7：
$(c,x_i)$中，$x_i$为属性，有$d$个属性，$c$与$x_i$均为二值，因此事件$(c,x_i)$有4个基本事件，而每个需要30个样例来估计其概率，在最坏情况下，需要的总样例数至少为$d\times 4\times 30$个，最好情况下，$P(c=0,\cdot )$和$P(c=1,\cdot )$这就至少需要60个样本，假定这时取$m^{\prime }=30$，且只有一个属性有一个取值的样本数大于30，即满足$|D_{x_i}|⩾m^{\prime }$的$i$只有1个（不妨设为$x_1$），由【西瓜书(7.23)】知，只需要估计$P(c=0,x_1)$和$P(c=1,x_1)$，即60个样本就够了。

7.8：
参见7.6 贝叶斯网（也称信念网）结构（网络结构也是“超参数”）、贝叶斯图络学习（两级搜索法）中的式 (7.42)。

同样思路可证顺序结构中的结论。

7.9：
在7.6 贝叶斯网（也称信念网）结构（网络结构也是“超参数”）、贝叶斯图络学习（两级搜索法）中最后一段的“两级搜索”法中，取$s(B|D)$为BIC准则【西瓜书(7.31)】即可。

7.10：
参见7.11 期望的计算、再谈贝叶斯图络学习最后部分的“再谈贝叶斯图络学习”。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：周志华西瓜书《机器学习》习题提示——第6章
下一篇：8.1 简单投票法（少数服从多数）