模式识别笔记（一）概论、贝叶斯决策（参数估计、非参数估计）

概论

• 人工智能：机器对人类智能的模仿
• 人类智能：感知、学习、思考、语言、行动
• 模式识别（机器感知）：将非结构化数据转化为结构化知识
• 模式识别基本方法：
  • 特征提取、特征选择
  • 特征空间上的分类器
• 分类器设计过程：选择分类器类型、设计损失函数/似然函数、训练（参数估计）
• 数据集分类：训练集、验证集、测试集
  • 验证集：训练后在这一数据集上对模型进行评价、修改
• 泛化性：测试数据上的分类性能
• 过拟合：在训练集上性能好，但泛化性不好；分类器越复杂，数据量越少，越容易过拟合

模式识别的分类

• 表示方式分：统计学习/结构学习
  • 统计方法的优点：训练容易，样本较多时分类性能更好
  • 结构学习的优点：较少样本即可得到较好的分类结果，可解释性强，鲁棒性强
• 学习方式分：有监督、无监督、半监督、强化学习、迁移学习、增量学习
• 生成模型/判别模型
  • 生成模型：基于模板的分类器、参数概率密度（高斯模型）、贝叶斯网络、隐马尔可夫模型、无向图
  • 判别模型：NN、SVM、Boosting、Conditional random field（CRF）
• 已知条件概率求后验概率、未知条件概率求后验概率、直接求判别函数

判别函数与决策面

• 判别函数：表征模式属于每一类的广义似然度
• 决策面：特征空间中判别函数相等的点的集合

高斯分布

• 一般形式：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$
• 矩阵形式：$p(x)=\frac{1}{(2\pi {)}^{\frac{d}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp [-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$

贝叶斯分类器

• 应用场景：在已知先验概率和条件概率的情况下

分类准则

• 最小错误率决策：选择后验概率最大的分类

后验概率公式：$P(x_i|A)=\frac{P(A|x_i)P(x_i)}{\sum P(A|x_j)P(x_j)}$

• 最小风险决策：$\underset{i}{\mathrm{argmin}}R({\alpha }_i|x)$，其中$R({\alpha }_i|x)={\sum }_{j=1}^c\lambda ({\alpha }_i|w_j)P(w_j|x)$
• 拒识：增加一个拒识类

概率密度估计方法

• 参数法：最大似然估计、贝叶斯估计
• 非参数法：Parzen窗、KNN
• 任意近似法：GMM、EM

参数估计

最大似然估计

• 似然性：$p(D|\theta )={\prod }_{x_k\in D}p(x_k|\theta )$
• 多维高斯分布的最大似然估计：$\hat{\mu }=\frac{1}{n}{\sum }_{k=1}^n{x}_k$，$\hat{\Sigma }=\frac{1}{n}{\sum }_{k=1}^n(x_k-\hat{\mu })(x_k-\hat{\mu }{)}^t$

贝叶斯估计

• 思想：用一类的数据集和参数的分布估计该类的参数
  $$\begin{gathered} p(x|D)=\int p(x,\theta |D)d\theta =\int p(x|\theta )p(\theta |D)d\theta \\ p(\theta |D)=\frac{p(D|\theta )p(\theta )}{\int p(D|\theta )p(\theta )d\theta }=\alpha \prod _{k=1}^{n}p(x_k|\theta )p(\theta ) \end{gathered}$$

非参数估计

核密度估计（Parzen window）

给定概率密度函数$\phi (x)$，则以x为中心、体积为$V_n=h_n^d$的区域内的点个数为$k_n={\sum }_{i=1}^n\phi (\frac{x-x_i}{h_n})$，则依此得概率密度估计$p_n(x)=\frac{k_n}{n{V}_n}$

• 窗口选择：小窗容易过拟合，大窗容易欠拟合
• 特点：固定局部体积V，变化k

KNN

$P_n(w_i|x)=\frac{k_i}{k}$

• 特点：固定局部样本数k，变化V