机器学习面试题之NB

整个朴素贝叶斯分类分为三个阶段：
第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。

2.什么是先验概率和后验概率？
先验概率是指根据以往经验和分析得到的概率。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。

3.什么是条件概率？
条件概率是指事件A在另外一个事件B已经发生下发生的概率。

4.为什么朴素贝叶斯如此“朴素”？
因为它假定所有的特征在数据集中的作用是独立同分布的，但这个假设在现实生活中很不真实，因此很“朴素”。

5.什么是贝叶斯决策理论？
将分类看做决策，进行贝叶斯决策时考虑各类的先验概率和类条件概率，也即后验概率。考虑先验概率意味着对样本总体的认识，考虑类条件概率是对每一类中某个特征出现频率的认识。由此不难发现，贝叶斯决策的理论依据就是贝叶斯公式。

理论依据

1. 最小错误率贝叶斯决策
   贝叶斯决策的基本理论依据就是贝叶斯公式，判决遵从最大后验概率。这种仅根据后验概率作决策的方式称为最小错误率贝叶斯决策，可以从理论上证明这种决策的平均错误率是最低的。
2. 最小风险贝叶斯决策
   另一种方式是考虑决策风险，加入了损失函数，称为最小风险贝叶斯决策。

6.朴素贝叶斯算法的前提假设是什么？
特征条件独立假设

7.为什么属性独立性假设在实际情况中很难成立，但朴素贝叶斯仍能取得较好的效果?

1. 对于分类任务来说，只要各类别的条件概率排序正确、无需精准概率值即可导致正确分类；
2. 如果属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时不会对性能产生负面影响。

8.朴素贝叶斯可以做多分类吗？

9.什么是朴素贝叶斯中的零概率问题？如何解决？
在概率估计时，通常解决这个问题的方法是要进行平滑处理，常用拉普拉斯修正。
拉普拉斯修正的含义是，在训练集中总共的分类数，用 N 表示；di 属性可能的取值数用 Ni 表示，因此
原来的先验概率 $P(c)$ 的计算公式由：$P(c)=\frac{D_c}{D}$
被拉普拉斯修正为：$P(c)=\frac{D_c+1}{D+N}$
类的条件概率P(x | c) 的计算公式由：$P(x_i|c)=\frac{D_{c,st}}{D_c}$
被拉普拉斯修正为：$P(x_i|c)=\frac{D^{}}{D_c+N_i}$