【模式识别-北理工】概述

1.模式识别概述

  什么是人工智能？
  人工智能，包括感知、决策和行动能力；
  模式识别解决人工智能的感知问题，已有近百年的发展历史。
  模式识别的产生和发展？
  1.1929年，光电阅读机，让机器具有识别能力的首次尝试，采用方法为模板匹配，第一个被实际应用的模式识别算法；
  2.1936年，线性判断分析，基于统计分布和，投影变换，将位于同一几何空间的样本点用一个线性函数分离开来。理论上对模式识别的研究，将模式识别数学化，开创了统计模式识别的算法流派。
  3.1960年，感知机，将20×20的点阵图像识别为8种类别的图形。提出机器学习的算法，以神经元为基础，但仍然属于统计机器学习的范畴，根据事物特征点取值进行识别。
  4.1974年，句法模式识别，首个完整利用事物特征之间的结构关系来完成模式识别，开创结构模式识别的思路。
  5.1986年，BP神经网络，误差反向传播，模式识别迎来另一个发展高潮
  6.1995年，支持向量机，模式识别算法，取得极大成功（统计模式识别）
  7.2006年，深度学习，在数据量和硬件的提升下，取得突破性进展。
  模式识别定义：
  模式就是一类事物的共同的特征；识别对事物进行概念归类，识别的基础是相似性，而不是事物具有的所有特征的完全匹配；
  模式识别就是依据事物的特征进行概念分类
  模式识别应用领域：
  1.人脸识别
  2.语音识别
  3.自然语言理解
  4.手势识别，脑电识别
  5.目标跟踪
  6.。。。
  课程内容：
  训练与分类；特征空间；紧致性与可分性；分类与聚类；有监督和无监督；特征降维；线性分类器；贝叶斯分类器；模糊模式识别；神经网络模式识别；

2 特征与特征空间

3 有监督学习无监督学习

  模式识别的核心是分类器，分类器的基础是样本特征，分类决策规则。
  分类器是如何学习到分类决策规则？
  （1）有监督学习（样本，标签）:上限是人类
  （2）无监督学习（样本，无标签）:分类器不是向人类已有的经验和能力来学习，而是自主从数据代表的自然规律中学习有关类别划分的知识，因此无监督学习的分类器能够达到更高的智能水平，也是未来模式识别的主要发展方向。

4 紧致性与维度灾难

4.1 紧致性

  前面知识：属于同一类的样本之间的相识度会大于属于不同类样本的相似度。
  同类样本之间的相似度越大，不同类样本之间的相似度越小，分类器越好，无论是在分类器学习或分类器使用时，发生错误的可能性越小。
  紧致性准则：类内相似度》》类间相似度

4.2 相似度度量

  （1）距离相似度：
  正定性： 距离是大于等于等于0的正实数，当且仅当自己与自己的距离时才为0。d(xi,xj)>0,(i!=j);
  对称性： 样本之间的距离值与计算顺序无关d(xi,xj)=d(xj,xi)
  传递性：两个样本之间的距离，一定小于等于分别与第三个样本之间的距离之和.d(xi,xj)<=d(xi,xl)+d(xl,xj)
  欧式距离
  曼哈顿距离

  （2）非距离相似度：
  余弦相似度：向量空间中，两个向量之间的夹角表达相似程度
  相关系数的相似程度（例皮尔逊相关系数）：
  Jaccard相似系数：

4.3 特征维度

  特征维度越多，用于识别的信息越丰富，越多的细节信息将不同类样本之间的相似度降低下来，提高样本集的紧致性。
  维数灾难：
  当问题的描述维度不断增加时，会带来计算量剧增，解法性能下降等严重的问题。
  模式识别中的维度灾难：随着特征维度的增加，分类器性能将在一段快速增加的区域后急速下降，并导致无法使用。

  维数灾难的根本原因在于，训练集中样本的数量不足。

4.4 泛化能力与过拟合

  泛化能力：分类器对于未知新样本的分类能力。
  过拟合和维数灾难是模式识别两个重要问题。

4.5 模式识别系统

  输入：样本
  （1）模式采集：（传感器，变送器，模数转换）针对具体物理样本包含的各种信息，将其通过采集转换得到计算机能够接受和处理的数据。
  （2）预处理与特征生成：（滤波降噪，特征生成）
  （3）特征降维：（特征选择，特征提取）
  （4）
  4.1 分类器训练：（无监督学习，有监督学习）
  4.2 分类决策：待分类器训练结束后，对待分类但是样本，按照建立起来的分类决策规则进行分类。待分类的样本也跟训练集一样需要进行采集、处理，降维等