贝叶斯演算法
原理:透过概率论中的条件概率进行分类。会称谓’朴素’是因为整个形式化的过程只做最原始、最简单的假设。
目标:分类未知类别的案例,用以理解数据中所蕴涵的知识讯息
优点:在数据教少时仍然有效,可以处理多类别问题
缺点:对输入数据的准备方式较为敏感
适用数据:标称型
输入:未知类别的实例
输出:输入实例的类别
工作原理
朴素贝叶斯算法是基于贝叶斯定理
与特征条件独立假设
的分类方法。
贝叶斯定理
P(A|B)表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率。其基本求解公式为:
贝叶斯定理便是基于条件概率,通过P(A|B)来求P(B|A):
上式中的分母P(A),可以根据全概率公式分解为:
特征条件独立假设
给定训练数据集(X,Y),其中每个样本x都包括n维特征,即 x = ( x 1 , x 2 , x 3 , . . . , x n ) x=({x_{1},x_{2},x_{3},...,x_{n}}) x=(x1,x2,x3,...,xn),类标记集合含有k种类别,即 y = ( y 1 , y 2 , . . . , y k ) y=(y1,y2,...,yk) y=(y1,y2,...,yk)。
如果现在来了一个新样本x,这个问题就是给定x,它属于哪个类别的概率最大。
即 P ( y 1 ∣ x ) , P ( y 2 ∣ x ) , . . . , P ( y k ∣ x ) P(y_{1}|x),P(y_{2}|x),...,P(y_{k}|x) P(y1∣x),P(y2∣x),...,P(yk∣x) 求后验概率最大的输出: a r g m a x y k P ( y k ∣ x ) argmax_{y_{k}} P(y_{k}|x) argmaxykP(yk∣x)
而 P ( y k ∣