思想
1)输入空间:X∈RnX∈Rn 为nn 维向量空间的集合。输出空间为分类标记空间 Y=c1,c2...ckY=c1,c2...ck。
训练集
也就是:
2)朴素贝叶斯法分类标记:对于待测试的输入xx,计算其在不同的类别下发生的概率。也即是计算p(Y=ck|x)p(Y=ck|x),然后根据概率的大小,把xx分到相应的类别中。那么
也就是有如下公式:
等式左边我们没法计算。朴素贝叶斯法就是计算等式右边的值。对于不同的类别 ckck ,分母是 p(x)p(x) 的全概率公式,是一个常数。所以说,我们只计算分子的值就好了。
3)计算子的值:其中,p(Y=ck)p(Y=ck),由训练数据的类别标签,可以直接计算。p(xj|Y=ck)=p(xj,ck)p(Y=ck)p(xj|Y=ck)=p(xj,ck)p(Y=ck),利用条件概率进行计算。
三:算法
朴素贝叶斯的主要优点有:
1)朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
2)对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。
3)对缺失数据不太敏感,算法也比较简单,常用于文本分类。
朴素贝叶斯的主要缺点有:
1) 理论上,朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
2)需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
3)由于我们是通过先验和数据来决定后验的概率从而决定分类,所以分类决策存在一定的错误率。