机器学习实战之朴素贝叶斯（一）理论

转载请注明作者和出处：https://blog.csdn.net/weixin_45814668
微信公众号：qiongjian0427
知乎：https://www.zhihu.com/people/qiongjian0427
Github代码获取：https://github.com/qiongjian/Machine-learning/
Python版本： Python3.x

KNN分类算法和决策树分类算法都是要求分类器做出确定的分类结果，但是，有时候分类器会产生错误；而朴素贝叶斯分类算法则是给出一个最优的猜测结果，同时给出猜测的概率估计值。

朴素一词是因为整个过程都是最原始最简单的假设。

朴素贝叶斯的优缺点

优点：数据少也有效，可以处理多类别问题。
缺点：对输入数据的准备方式较为敏感。
适用数据类型：标称型数据

贝叶斯决策理论

贝叶斯决策理论核心思想：选择具有最高概率的决策。
朴素贝叶斯就是贝叶斯决策理论的一部分。

假设这里有一个数据集，它的数据被分成了两类：类1和类2。
p1(x,y)表示数据点(x,y)属于类别1；
p2(x,y)表示数据点(x,y)属于类别2；
现有新数据(x,y),我们需要计算概率p1(x,y)和p2(x,y)的大小并进行比较，如果：
p1(x,y)>p2(|x,y),则(x,y)属于类1；
p1(x,y)<p2(x,y),则(x,y)属于类2。

条件概率

P(A|B) = P(AB)/P(B)

朴素贝叶斯准则：p(c|x)=p(x|c)*p©/p(x)

p(ci|x,y)=p(x,y|ci)*p(ci)/p(x,y)

朴素贝叶斯的假设

1.样本特征之间独立；
2.每个特征同等重要。

END