2作用:主要用于分类任务在相关概率都已知的条件下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记
1、贝叶斯决策论
假设有N种可能的类别标记,也就是y有多个可能取值,y={c1,c2,c3…},其中λij是cj被误分类成ci的损失(比如:ci = cj,λ = 0;ci != cj,λ = 1),然后最后我们需要的期望损失也就是:
R(ci|x) = ∑(N,j=1) λij P(cj|x)
解释:是样本x被分类成ci的期望损失。
那么我们现在就需要让所有样本x期望损失之和越小越好,但是我们整体操作会很复杂,那么我们就可以让单个x的期望损失达到最小化。
我们这时候就需要用贝叶斯判定准则:最小化总体风险,只需在每个样本x上,选择那个能使经验风险最小的标记ci:
ci = arg min(c∈y)R(c|x)
解释:我们需要把每一个x找一个合适的c,这个c必须是让x经验损失最小化的。
那么我们最终还是要总体经验风险最小化的,我们最终要把上一步得出的所有的x的经验风险加起来就是贝叶斯风险,也就是总体的经验风险最小化。
上一步得出x对应的经验风险最小的c,就是这个经验风险。
如果从条件风险来看,R(c|x) = 1-P(c|x)
(这个应该不需要多解释了吧)
这个的c = arg max(c∈y)P(c|x)
总的最小条件风险同理。
一共有两种可能出现的情况:
1.