吃完大西瓜 第七章贝叶斯分类

1.什么是贝叶斯决策论？

简述：贝叶斯决策论是指概率框架下进行决策的基本方法。比如，对分类任务来说，求得决策相关的所有概率后，基于概率和误判损失来进行最优分类

2.简述贝叶斯公式：
简述：贝叶斯公式P（H｜E）=P（E｜H）P（H）/P（E）
贝叶斯公式计算的是在已知证据E下，当前假设H发生的概率，即H的后验概率。揭示了这个概率与H的先验和似然P（E｜H）有关。P（E）可以视作概率标准化因子。

3.什么是贝叶斯判定准则和贝叶斯最优分类器？

简述：对于判定准则h希望能够最小化总体风险R（h)=E(Rh(h(x)|x)).若对每个样本都能使条件风险R（h(x)|x)最小，自然总体风险也最小。
所以贝叶斯判定准则描述为使得每个样本的条件风险最小的准则，此时产生对应的分类器被称为贝叶斯最优分类器。

4.什么是生成模型，什么是判别模型？
简述：生成模型指对样本的联合分布进行建模，如在分类问题中关于样本x与其标记y的联合分布p(x,c)建模，当已知联合分布时，可以求得条件部分从而进行分类作出符合贝叶斯最优的决策。与之相对的是判别模型，直接对条件概率进行建模。

5.朴素贝叶斯的关键假设是？什么是半朴素贝叶斯？
简述：条件独立性，假设每个属性间相互独立。
由于条件独立性很难在现实应用中达到，因此半朴素贝叶斯引入了“独依赖估计”，保留了属性间的一些强相关信息。假设所有属性都单独依赖于一个属性，该属性被称为“超父”

6.什么是TAN？它是如何生成的？
简述：TAN结构同样基于保留属性间的强相关性的想法，TAN通过最大生成树算法生成。步骤为：
（1）计算所有属性间的互信息
（2）以属性为节点，两两间互信息构建网状数据结构图，两结点间的权重为互信息。
（3）调用最大生成树算法，获得仅保留强相关性的最大带权树。
（4）加入类别节点y，添加y到所有属性的有向边

7.怎样改进半朴素贝叶斯中的SPODE算法？
简述：半朴素贝叶斯中仅选择一个超父结构，可以通过集成的方法改进。轮流让各个属性成为超父，保留有足够训练数据集支持的所有分类器结果进行集成。

8.什么是贝叶斯网？
简述：贝叶斯网又称为信念网，是由一个有向无环图来描述属性间的相关性，保留了更多的信息。其中一个节点为1个属性，其上附有条件概率表描述该节点属性与其他属性的联合概率分布。