传统机器学习

朴素贝叶斯原理：

 

朴素贝叶斯是基于贝叶斯定理和特征条件独立假设分类方法。对于给定训练集，首先基于特征条件独立性的假设，学习输入/输出联合概率（计算出先验概率和条件概率，然后求出联合概率）。然后基于此模型，给定输入x，利用贝叶斯概率定理求出最大的后验概率作为输出y。

假设我们有训练数据集如下：

即有m个样本，每个样本有n个特征，特征输出有K个类型，定义为C1、C2、... CK。

于是，从样本中可以得出朴素贝叶斯的先验分布：

接着学习到条件概率分布：

然后根据贝叶斯公式就可以得到XY的联合分布：

 

 

朴素贝叶斯模型假设X的n个维度之间相互独立，则有：