模式识别初体验

模式识别

导论

本学期开始慢慢接触到一些机器学习相关的课程了，第一门就是模式识别（自然语言处理没选上）啦~

导论中提到了以下概念
- 训练样本
- 分类器设计
- 测试样本
- 分类器选择

要求的预备知识
- 数理统计（大二下学期必修）
- 线性代数与矩阵分析（大一上必修）
- 最优化方法

---

Bayes决策理论

• 引言
• 基于最小错误率的Bayes决策
• 基于最小风险的Bayes决策
• 正态分布的Bayes决策
• 小结

引言

例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。

数学表示：

符号	意义
$\omega$	类别
$x$	随机变量
$p(x)$	x的概率密度
$p(x|\omega_{i})$	类条件概率密度

则可用$\omega_{1}$表示患病，$\omega_{2}$表示不患病；$x$表示“白细胞浓度”这一随机变量；$p(x)$表示它的概率密度；$p(x|\omega_{i})$表示在患病or不患病情况下的概率密度。

定义： $D(x)$

给样本赋予类别标号的决策

$f(x)$

决策将样本空间划分为不重叠的区域，相邻区域之间的变截面称为决策面。

统计决策理论就是要根据每一类总体的概率分布决定决策面。
——Bayes决策理论是统计决策理论的基本方法

基于最小错误率的Bayes决策

• Bayse定理
  
  p(x,ωi)=p(x|ωi)∗p(ωi)=p(ωi|x)∗p(x)