【复习】模式识别

全大题：问答+计算

第一讲：引言【对概念的理解】

对模式的区分和认识，把对象根据其特征归到若干类别中适当的一类

样本：研究对象的一个个体

类/类别：在所有样本上定义的一个子集，处于同一类的样本在我们所关心的某种性质上是不可区分的，即具有相同的模式

特征：指用于表征样本的观测，通常是数值表示的某些量化特征

模式识别的问题就是用计算的方法根据样本的特征将样本划分到一定的类别中去

基本思想：根据已知的关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定的计算机推理系统，对未知样本通过这些知识推理决策其类别。

训练集训练一定的模式识别机器，使之训练后能够对位置样本进行分类

两种方法互补

 流程图

监督学习：训练阶段+测试阶段（过程分开）

无监督学习：

核心区别：在于有没有已知的训练样本

第二讲：图像处理技术（了解）

第三讲：统计决策方法（贝叶斯公式/贝叶斯决策两种方法）

[写清楚根据，根据最小错误率贝叶斯…]

注意要写依据最小错误率贝叶斯决策规律

联合概率：

画决策表

 第四讲：概率密度函数的估计（概念，最大似然估计原理和求解方法）

第五讲：线性学习机器与线性分类器（多）

最小平方误差意义下

两分类只需要一个线性判别函数

使用感知器算法之前有两个处理

线性不可分情况

求解不需要掌握

第六讲：典型的非线性分类器

非线性判别函数：各种函数的集合；分段线性分类器，二次判别函数，多层感知器，支持向量机等

多个线性分类器片段来实现非线性分类

具有学习任意复杂的非线性映射的能力

Bp算法：feedforward、learning

过学习：早停止

欠学习：

第七讲：非参数学习机器和集成学习器

以距离新样本最近的已知样本的类别作为新样本类别

极端情况，将所有样本都作为代表点

以距离新样本最近的已知样本的类别作为新样本类别

将多个性能一般的普通模型进行有效集成，形成一个性能优良的集成模型

如何构造弱学习器：串行boosting（使得各学习器之间存在一定的关联）、并行bagging（没有顺序同时进行）、随机森林

如何组合：简单平均法、加权平均法、相对多数投票法等

主要通过样本的扰动来增加基学习器之间的多样性

adaboost关注降低偏差，bagging关注于降低方差

第八讲：非监督学习与聚类（基本思想概念）

动态聚类方法：多次迭代，逐步调整类别划分，最终使某准则达到最优

C均值算法

两步迭代

第九讲：深度学习（区别，卷积神经网络的区别，自编码器）

sigmoid：

Tanh非线性函数：

ReLU：

Leaky ReLU：

ELU：

MaxOut：

自我映射：多层感知器的输入输出设置为一样

特征提取器，得到本质上的特征

• 常用技巧：训练顺序、学习率、初始化、非线性激活函数、随机舍弃、归一化、数据增强和辅助目标、终止条件
• Cnn
• 自编码器：
• 激活函数
• 梯度消失
• 过拟合
• 深浅区别
• 决策树：ID3方法、香农熵、信息增益
• 集成学习：准确性（个体学习器不能太差，要有一定的准确度，短板）和多样性（个体学习器之间的输出要具有差异性，长板）
• 近邻法
•  多层感知器神经网络
• 分段线性判别函数
•  最优分类超平面与线性支持向量机
• 负类取反
• 线性判别函数进行齐次简化：a，y
•  感知器与最小平法误差判别
• Fisher线性判别（了解思想）
• 线性判别函数
• 线性回归
• 两类错误率、AUC（了解）
• 最小风险贝叶斯
•  贝叶斯公式
•  卷积
• 监督/非监督模式识别：两种典型范式
• 基于数据的方法：机器学习思想，黑盒子，统计方法，效果好
• 模式识别的两大类方法
  1. 基于知识的方法：专家系统为代表，死板，效果差；可解释性强
•  模式识别概念定义：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程；