模式识别学习笔记

一些基本概念

数学概念

1. 类条件概率密度：已知目标的类别（事件发生）为${\omega }_k$的情况下，目标的某一特征（促成事件的条件，另一个事件）$x$的概率密度$P(x|{\omega }_k)$。
2. 先验概率：所有条件未知的情况下，事件发生的概率。

最小风险贝叶斯决策
例：假设观测到现象（事件）$x$后查出某细胞是肿瘤细胞（事件${\omega }_2$）的后验概率$P({\omega }_2|x)$为0.818，反之$P({\omega }_1|x)$为0.182。

决策\实际结果	${\omega }_1$	${\omega }_2$
$a_1$	$\lambda (a_1,{\omega }_1)=0$	$\lambda (a_1,{\omega }_2)=6$
$a_2$	$\lambda (a_2,{\omega }_1)=1$	$\lambda (a_2,{\omega }_2)=0$

设将结果判定为${\omega }_2$的决策表示为$a_2$，反之为$a_1$，则${\omega }_1$错判为$a_2$的风险为$1\ast 0.818$，${\omega }_2$错判为$a_1$的风险为$6\ast 0.182$，按风险最小的原则，应当选择决策$a_2$。

切比雪夫不等式
P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu|\geq\varepsilon\}\leq \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​
切比雪夫不等式给出了在随机变量的分布未知，只知道$E(X)$和$D(X)$的情况下的估计概率 P { ∣ X − μ ∣ &lt; ε } P\{|X-\mu|&lt;\varepsilon\} P{∣X−μ∣<ε}的界限。

中心极限定理

参数分布（parametric distribution）
少量可调节的参数控制了整个该概率分布

适定问题是指定解满足下面三个要求的问题：① 解是存在的；② 解是唯一的；③ 解连续依赖于定解条件，即解是稳定的。这三个要求中，只要有一个不满足，则称之为不适定问题。

线性回归问题中的正则化
如果参数对应一个较小的值，那么会得到形式更加简单的假设。惩罚高阶参数，使它们趋近于0，这样就会得到较为简单的假设，也就是得到简单的函数，这样就不易发生过拟合。但是在实际问题中，并不知道哪些是高阶多项式的项，所以在代价函数中增加一个惩罚项/正则化项，将代价函数中所有参数值。
对于方差形式的损失函数：
$$E(w)=\frac{1}{2}\sum _{n=1}^N[y(x_n,w)-t{]}^2+\frac{\lambda }{2}||w_{(k)}|{|}^2$$
通过对其求导来求局部最小值，当$\lambda$越大对$w_{(k)}$的抑制作用就越大。

Gamma函数
$$\Gamma (x)={\int }_0^{\infty }{u}^{x-1}{e}^{-u}du$$