首先会用到贝叶斯决策理论,说一下。贝叶斯决策理论的核心思想是:选择具有最高概率的决策。例如一个点(x, y),属于类别1的概率是p1(x, y),属于类别2的概率是p2(x, y),用贝叶斯决策理论来判断它的类别:
如果p1(x, y) > p2(x, y),那么类别1;
如果p1(x, y) < p2(x, y),那么类别2。
再说一下条件概率。计算条件概率的方法称为贝叶斯准则。贝叶斯准则告诉我们如何交换条件概率中的条件与结果,即已经p(x|c),计算p(c|x),利用好求的概率去求解难求的概率。计算公式:
接下来我们讨论如何结合贝叶斯决策理论使用条件概率将其应用到分类器中。
我们需要比较的是p(c1 | x, y) 和p(c2 | x, y),即(x,y)表示的数据点属于类别c1和c2的概率各是多少?直接求解这两个概率不好求解,我们利用贝叶斯准则来交换概率中条件和结果,具体的用到下面公式:
利用已知的三个概率值来求解未知的概率值。