模式识别学习笔记——贝叶斯决策

先把贝叶斯公式放在这

$$P({\omega }_i|x)=\frac{P(x|{\omega }_i)P({\omega }_i)}{P(x)}$$

后验=(似然×先验) / 证据因子

关于贝叶斯定理的讲解，强烈推荐看3Blue1Brown的视频，B站就有。

核心思想就一句话：证据不应直接决定看法，而是更新看法

Symbol(符号含义)

1. 类别$\omega$

   $${\omega }_i,i=1,2,3,...,c$$

2. 先验概率$P({\omega }_i)$

   先验概率和为1

   $${\Sigma }_{i=1}^{c}P({\omega }_i)=1$$

3. 后验概率$P({\omega }_i|x)$

4. 似然$P(x|{\omega }_i)$

5. 样本$x$（向量）

   实际上是选取某些特征来表示样本

Before Observation(无观测样本)

 只知先验$P({\omega }_i)$，没有似然$P(x|{\omega }_i)$。
 那很简单，给定一个新的样本$x$，最优的分类方法就是把它分为先验最大的那一类。

After Observation(有观测样本)

 有了观测样本，那么就能用一些方法估计每个类${\omega }_i$取到$x$的概率（离散情况下。连续情况就估计类条件概率密度函数），似然$P(x|{\omega }_i)$

$$类条件概率密度函数p(x|{\omega }_i)$$

上面的结果并不能直接用于分类。 不能直接用于分类。 不能直接用于分类。 贝叶斯的核心思想： 证据不应直接决定看法，而是更新看法

 我们可以将似然理解为，从样本中学到的新的知识。我们应该拿它去更新旧的知识——先验（将二者相乘）。

 有先验，有似然，利用全概率公式，可以求证据因子

$$P(x)={\Sigma }_{i=1}^{c}P(x|{\omega }_i)P({\omega }_i)$$

实际上贝叶斯公式，先验×似然之后为什么要除以这个证据因子，可以理解为将后验约束在到[0,1]的范围内

 利用贝叶斯公式求出后验$P({\omega }_i|x)$，取后验最大的${\omega }_i$为样本$x$的类别

Two Special Case

1.等先验

$$P({\omega }_1)=P({\omega }_2)=\cdots =P({\omega }_c)=\frac{1}{c}$$

 这种情况下，先验对于分类结果就没有影响。分类结果由似然决定。

2.等似然

$$P(x|{\omega }_1)=P(x|{\omega }_2)=\cdots =P(x|{\omega }_c)$$

 这种情况下，似然对于分类结果就没有影响。分类结果由先验决定。

Is Bayes Decision Rule Optimal?

（这里学的挺糊涂的。。。）

 以二分类情况为例

$$P({\omega }_i|x)>P({\omega }_j|x),Decide:{\omega }_i;Otherwise:{\omega }_j$$

 对于任意观测样本$x$，对 x x