2024模式识别复习提纲（自用）

引论

概述

• 模式识别(Pattern Recognition)：一门研究对象描述和分类方法的科学
• 样本(Sample)：一个具体的研究对象。如，一个患者、一幅图片
• 模式(Pattern)：研究对象的物理描述。通常是信号、图像或简单的数值表。比如，数字图像。模式常被称为样本、对象、案例。通常，模式和样本两个词语通用
• 特征(Features)：从模式得到的有用的属性、度量或基元。比如，数字图像中的各像素灰度。组织表示形式：向量、矩阵、张量
• 模式类(Class)：具有某些共同特性的模式的集合
• 空间（Space）
  • 对象空间
  • 模式空间
  • 特征空间
  • 类型空间
• 模式识别系统的主要环节
  • 待识对象 =》数据获取、预处理 =》特征提取与选择 =》分类识别 =》识别结果
• 模式识别系统的主要环节
  • 数据获取：用计算机可以运算的符号来表示所研究的对象
    • 二维图像：文字、指纹、地图、照片等
    • 一维波形：脑电图、心电图、季节震动波形等
    • 物理参量和逻辑值：体温、化验数据、参量正常与否的描述
  • 预处理：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原
  • 特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征
  • 分类识别：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小，可以通过监督学习和非监督学习两种方法获得
• 监督学习：
  • 依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说 （通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类；
  • 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。
• 非监督学习：
  • 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；
  • 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；
  • 这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果
• 模式识别系统
  • 系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。
    • 训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。
    • 测试集：在设计识别和分类系统时没有用过的独立样本集

模式相似度与模式识别任务

分类决策

考虑采用颜色和形状作为特征，建立二维的特征空间

回归问题

描述问题

模式识别的基本方法

统计模式识别

• 模式描述方法：
  • 特征向量
• 模式判定：
  • 模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布
• 理论基础：概率论，数理统计
• 主要方法：线性、非线性分类、Bayes决策、聚类分析
• 主要优点：
  • 1）比较成熟
  • 2）能考虑干扰噪声等影响
  • 3）识别模式基元能力强
• 主要缺点：
  • 1）对结构复杂的模式抽取特征困难
  • 2）不能反映模式的结构特征，难以描述模式的性质
  • 3）难以从整体角度考虑识别问题

句法模式识别

• 模式描述方法：
  • 符号串，树，图
• 模式判定：
  • 是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。
• 理论基础：形式语言，自动机技术
• 主要方法：自动机技术、CYK剖析算法、Early算法、转移图法
• 主要优点：
  • 1）识别方便，可以从简单的基元开始，由简至繁。
  • 2）能反映模式的结构特征，能描述模式的性质。
  • 3）对图象畸变的抗干扰能力较强。
• 主要缺点：
  • 当存在干扰及噪声时，抽取特征基元困难，且易失误

模糊模式识别

• 模式描述方法：
  • 模糊集合 A={(a,a), (b,b),… (n,n)}
• 模式判定：
  • 是一种集合运算。用隶属度将模糊集合划分为若干子集， m类就有m个子集，然后根据择近原则分类。
  • 理论基础：模糊数学
  • 主要方法：模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵
• 主要优点：
  • 由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。
• 主要缺点：
  • 准确合理的隶属度函数往往难以建立，故限制了它的应用。

人工神经网络法

• 模式描述方法：
  • 以不同活跃度表示的输入节点集（神经元）
• 模式判定：
  • 是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的记忆。
• 理论基础：神经生理学，心理学
• 主要方法：BP模型、HOP模型、高阶网
• 主要优点：
  • 可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样本有较大的缺损、畸变。
• 主要缺点：
  • 模型在不断丰富与完善中，目前能识别的模式类还不够多

逻辑推理法（人工智能方法）

• 模式描述方法：
  • 字符串表示的事实
• 模式判定：
  • 是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，m个类就有m个结果。
• 理论基础：演绎逻辑，布尔代数
• 主要方法：产生式推理、语义网推理、框架推理
• 主要优点：
  • 已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。
• 主要缺点：
  • 当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好

模式识别发展简史

• 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。
• 30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。
• 50年代 Noam Chemsky 提出形式语言理论——傅京荪 提出句法结构模式识别。
• 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。
• 80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。
• 90年代小样本学习理论，支持向量机也受到了很大的重视

模式识别的应用

• 生物学
  • 自动细胞学、染色体特性研究、遗传研究
• 天文学
  • 天文望远镜图像分析、自动光谱学
• 经济学
  • 股票交易预测、企业行为分析
• 医学
  • 心电图分析、脑电图分析、医学图像分析
• 工程
  • 产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析
• 军事
  • 航空摄像分析、雷达和声纳信号检测和分类、自动目标识别
• 安全
  • 指纹识别、人脸识别、监视和报警系统

应用实例

• 条码识别原理
  • 由于不同颜色的物体，其反射的可见光的波长不同，白色物体能反射各种波长的可见光，黑色物体则吸收各种波长的可见光，所以当条形码扫描器光源发出的光经光阑及凸透镜1后，照射到黑白相间的条形码上时，反射光经凸透镜2聚焦后，照射到光电转换器上，于是光电转换器接收到与白条和黑条相应的强弱不同的反射光信号，并转换成相应的电信号输出到放大整形电路，整形电路把模拟信号转化成数字电信号，再经译码接口电路译成数字字符信息
• 文字识别常用方法
  • ① 模板匹配法：将输入的文字与给定的各类别标准文字（模板）进行相关匹配，计算输入文字与各模板之间的相似性程度，取相似度最大的类别作为识别结果。该方法的缺点：当被识别类别数增加时，标准文字模板的数量也随之增加。这一方面会增加机器的存储容量，另一方面也会降低识别的正确率，所以这种方式适用于识别固定字型的印刷体文字。该方法的优点：用整个文字进行相似度计算，所以对文字的缺损、边缘噪声等具有较强的适应能力。
  • ② 几何特征抽取法：抽取文字的一些几何特征，如文字的端点、分叉点、凹凸部分以及水平、垂直、倾斜等各方向的线段、闭合环路等，根据这些特征的位置和相互关系进行逻辑组合判断，获得识别结果。这种识别方式由于利用结构信息，也适用于手写体文字那样变型较大的文字。
• 车牌识别流程：
  • 1. 牌照定位，定位图片中的牌照位置；
  • 2. 牌照字符分割，把牌照中的字符分割出来；
  • 3. 牌照字符识别，把分割好的字符进行识别，最终组成牌照号码。
  • 车牌识别过程中，牌照颜色的识别依据算法不同，可能在上述不同步骤实现，通常与车牌识别互相配合、互相验证
• 生物识别——语音识别
  • 方法：主要是模式匹配法。
    • 训练阶段，用户将词汇表中的每一词依次说一遍，并且将其特征向量作为模板存入模板库。
    • 识别阶段，将输入语音的特征向量依次与模板库中的每个模板进行相似度比较，将相似度最高者作为识别结果输出
• 生物识别——指纹识别
  • 原理：通过比较不同指纹的特征来进行鉴别。
  • 局部特征：指纹节点的特征。指纹的纹路并不是连续、平滑笔直的，经常会出现分叉、折转或中断。这些交叉点、折转点或断点称为"特征点"。特征点的参数包括方向（节点可以朝着一定的方向）、曲率（描述纹路方向改变的速度）、位置（节点的位置通过x/y坐标来描述，可以是绝对的，也可以是相对于三角点或特征点的）。
  • 总体特征：用人眼直接就可以观察到的特征。包括纹形、模式区、核心点、三角点和纹数等
• 生物识别——人脸识别
  • 人脸识别流程：
    • 人脸采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。
    • 人脸检测：即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
    • 人脸预处理：系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等
    • 人脸特征提取：人脸特征提取的方法归纳起来分为两大类：
      • 一种是基于知识的表征方法；
      • 另外一种是基于代数特征或统计学习的表征方法。
    • 人脸匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出

特征矢量和特征空间

• 特征矢量
• 特征空间
  • 各种不同取值的特征矢量的全体构成了n维特征空间
• 特征矢量就是特征空间中的一个点

随机矢量

• 在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。
• 每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随机矢量。
• 随机矢量的分布函数和密度函数
• 随机矢量的数字特征
  • 期望矢量（均值矢量）
  • 条件期望
  • 协方差矩阵
  • 自相关矩阵
  • 相关系数矩阵
  • 不相关
  • 正交
  • 独立

正态分布

• 一维随机变量的正态分布
• 随机矢量的正态分布
• 正态分布随机矢量的性质
  • 等概率密度点的轨迹为超椭球面
  • 对正态分布，不相关等价于独立
  • 其边缘密度和条件密度仍然是正态分布
  • 正态分布随机矢量的线性变换仍为正态随机矢量

聚类分析

聚类基本概念

基本思想

• 根据相似度分类
• 无监督学习

基本步骤

• 1. 特征选择
  • 尽可能多地包含任务关心的信息
• 2. 近邻测度
  • 定量测定两特征如何“相似”或“不相似”
• 3. 聚类准则
  • 以蕴涵在数据集中类的类型为基础
• 4. 聚类算法
  • 按近邻测度和聚类准则揭示数据集的聚类结构
• 5. 结果验证
  • 常用逼近检验验证聚类结果的正确性
• 6. 结果判定
  • 由专家用其他方法判定结果的正确性

特征的类型

• 1. 物理量
  • 直接反映的实际物理意义，如：长度、重量、速度
• 2. 次序量
  • 反应特征的次序或等级，如：产品的等级、病症的级别
• 3. 名义量
  • 只是用数字表示状态，如：男性与女性、事物的状态

方法的有效性

• 特征选择不当使分类无效
• 特征选取不足可能使不同类别的模式判为一类
• 特征选取过多可能有害无益，且增加分析负担
• 量纲对聚类结果的影响（十万元与万元为单位的横轴）
• 距离测度对聚类结果的影响
• 特征选取不同对聚类结果的影响

聚类的四个基本应用

• 1. 减少数据
  • 数据量很大时压缩数据
• 2. 假说生成
  • 推导出数据性质的一些假说
• 3. 假说检验
  • 用聚类分析来验证指定假说的有效性
• 4. 基于分组的预测
  • 对现有数据进行聚类分析，形成模式的特征，并用特征表示聚类，接下来，对于一个未知模式，就可以用前面的聚类来确定是哪一类，如：判断病情种类

相似度测度

距离测度

• 1. 欧氏距离（特殊的闵科夫斯基距离，m=2）
• 2. 绝对值距离 差的绝对值求和
• 3. 切比雪夫距离 max
• 4. 闵科夫斯基距离
• 5. 马氏距离
  • 对一切非奇异线性变换都是不变的（具有坐标系比例、旋转、平移不变性，去掉了分量间的相关性）

  • 例1 见word文档

相似测度

• 1. 角度相似系数（夹角余弦）
  • 矢量之间的相似性可用它们的夹角余弦来度量
• 2. 相关系数
  • 数据中心化后的矢量
• 3. 指数相关系数
  • 不受量纲变化影响

匹配测度

若特征只有两个状态：0 => 有此特征；1 => 无此特征。称之为二值特征

几种匹配

• a:(1-1)匹配
• b:(1-0)匹配
• c:(0-1)匹配
• e:(0-0)匹配

几种匹配测度

• 1. Tanimoto测度
  • 不考虑 0-0 匹配
• 2. Rao测度
  • 1-1匹配数目与特征总数之比