朴素贝叶斯

用途:

解决多分类问题。训练集(xi,yi)，xij 在某个特征中取值，yi是分类结果。

缺点：

1.假设了条件独立，即假设xi中每个元素xij的选取都不受其他xij的影响，而这会牺牲分类准确率。
2.无法处理隐变量（无法直接观测的变量）。

算法：

其中 I(yi=ck)是指 if yi==ck return 1 else return 0;
N是训练集的数据条数
为了避免P的计算中出现0的情况，可以在分子和分母上都加一个正数

其中，Sj是该xj特征下的值的个数

原理

利用了贝叶斯定理

累乘项 是 X取x (x1,x2…..xn)时,y=ck的概率P(y=ck,X=x)
分母是p(X=x) 对于所有的ck 值都是相同的
故实际上通过输入的X=x，获得

使分子最大化的ck的取值 也就是y的分类结果

最终，可以通过上式获取 X=x是 y的所有取值的y值，取其中最大的即为输出。