机器学习笔记—模式识别与智能计算（一）模式识别概述

1、模式识别的基本概念

         模式识别是信号处理与人工智能的重要分支，人工智能是专门研究用机器人模拟人的动作、感觉和思维过程与规律的科学，模式识别是利用计算机专门对物理量及其变化过程进行描述与分类。

         模式是供模仿用的完美无缺的标本/样本，模式是通过对具体的个别事物进行观察所得到的具有时间和空间分布的信息，而模式类是指模式所属的类别或同一类别中模式的总体。

（1）模式的描述方法

         测量空间：测量样本后获取的原始数据构成的空间

         模式：样本或对样本所具有的特征的描述

         模式空间：影响样本的众多因素构成的多维空间

         特征：样本中与识别有关的因素，作为研究的根据

         特征向量：模式的特征集所表示成的向量，向量的每个元素即特征

         特征空间：模式特征向量所在的空间，从模式得到的对分类有用的度量、属性或基元构成的空间，不同的特征向量或者不同类别的对象对应于特征空间中的一点

         解释空间：模式所属类别的集合构成的空间

         模式识别的目标就是在特征空间和解释空间找到一种映射关系，就是对多维空间中的分布特点进行分析，对模式空间进行划分，识别各种模式的聚类情况，从而做出判决或决策。

（2）模式识别系统

         典型的模式识别系统由数据获取、预处理、特征选择和提取、分类器设计（训练）、分类决策（分类）。

         设计模式识别系统时，需要注意模式类的定义、应用场合、模式表示、特征选择和提取、聚类分析、分类器的设计与学习训练、测试样本的选取、性能评价等。

2、模式识别的基本方法

（1）统计模式识别

         统计模式识别是利用统计决策的原理对特征空间进行划分，从而达到识别不同特征对象的目的，直接或隐含地利用各类的分布特征如概率分布函数、后验概率等进行分类识别，基本技术包括统计判决（贝叶斯方法）、判别类域界面法（判别函数法）和聚类分析法。

（2）句法结构模式识别

         句法识别是对统计识别的补充，统计识别用数值来描述对象的特征，而句法方法用符号来描述，模仿语言学中句法的层次结构将模式用树形结构描述

         模式基元：底层最简单的子模式，句法中选择基元的问题相当于统计中选取特征的问题

         模式描述语句：对模式以一组基元和它们的组合关系来描述的语句

         语法：基元组合成模式的规则

         一旦基元被鉴别，识别过程可通过句法分析进行，即分析给定的模式语句是否符合指定的语法，满足某类语法的即被分入该类。

         句法结构模式识别又称为结构方法/语言学方法，主要用于文字识别、遥感图形的识别与分析以及纹理图像的分析等，其特点是能够反映模式的结构特征，描述模式的性质，对图像畸变的抗干扰能力较强，如把复杂图像分解为单层或多层的简单子图像能够突出识别对象的结构信息。

3、统计模式识别

（1）主要研究问题

         统计模式识别研究的主要问题包括特征的选择和优化、分类判别（有监督分类）和聚类判别（无监督分类）。

         特征的选择和优化：a.特征的选择—选用的特征空间应能使同类物体分布具有紧致性；b.特征的组合优化：通过映射变换改造原特征空间，构造精简的新特征空间。

         分类判别（有监督分类）：根据样本库建立分类函数并进行学习，然后对未知新对象分类判决。

         聚类判别（无监督分类）：事先不知道样本所属类别和类别总数，用某种相似性度量的方法，把特征相同的归为一类。

（2）主要方法

         贝叶斯方法/基于概率统计的分类：包括基于最小错误率和最小风险的贝叶斯决策，以及贝叶斯参数估计方法（最大似然和贝叶斯估计）

         判别函数法/几何分类法：通过找到一个线性/非线性判别函数，将不同类别的点集分开。判别函数法不依赖于条件概率密度知识，可以理解为通过几何的方法把特征空间分解为对应于不同类别的子空间。判别函数法绕过统计分布状况的分析，绕过贝叶斯参数估计这一环节，而企图对特征空间进行划分，属于非参数技术的范畴，即不依赖统计/贝叶斯参数估计的分类法，其核心是由训练样品集提供的信息直接确定决策域的划分方法。

         支持向量机SVM（判别函数法/几何分类法）：在样本空间或特征空间构造最优超平面，使得超平面与不同类样本集之间的距离最大，从而达到最大的泛化能力。超平面通过判别函数来表示和获取。

         模板匹配（概率统计方法/聚类分析）：选择已知对象作为模板，与待测物体进行比较，从而识别目标

         神经网络分类：对待识别对象不要求有太多的分析与了解，具有一定的智能化处理特点。由于神经网络是一种对数据分布无要求的非线性技术，它能有效地解决非正态分布、非线性的评价问题

         基于规则推理法：与统计模式识别、句法模式识别并列的基于逻辑推理的模式识别方法主要包括知识表示、知识推理和知识获取三个环节。通过样本训练集构建推理规则进行模式分类的方法主要有决策树和粗糙集理论。基于规则推理法适用于已经建立了关于知识表示与组织、目标搜索及匹配的完整体系。

         模糊模式识别法：以模糊数学为基础，将计算机中常用的二值逻辑转向连续逻辑，模糊识别的结果是用隶属度即被识别对象隶属于某一类别的程度来表示的。基于模糊集理论的识别方法有最大隶属原则识别法、择近原则识别法和模糊聚类法。

4、分类分析/判别（有监督分类）

（1）分类器设计

         通常希望设计的模式识别系统在性能上最优，这种最优指对某一种设计原则/准则而言。        最小错误率准则：完全以分类错误最小为准则

         最小风险准则：对于错分率多少不看重，而是考虑错分来的总体后果

         均方误差最小准则：以最小化样本的均方误差为准则

         Fisher准则：根据两类物体类内密集、类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类物体在该方向上的投影满足类内尽可能密集，类间尽可能分开。

         近邻准则：依据同类物体性质相近在特征空间具有聚类特性的性质产生分类决策的规则

         感知准则：使错分类样品到分界面的距离之和最小

（2）判别函数

         对于某一类别，其判别函数形式为g(x)为wi*fi(x)项对i的求和，对于线性判别函数fi(x)=xi，确定判别函数的过程为：首先确定使用的函数类型如线性函数、分段线性函数、非线性函数或近邻法；然后确定准则函数J；最后根据准则J达到极值训练学习判别函数的参数从而最终确定判别函数

（3）分类器选择

         基于统计/贝叶斯统计参数的决策分类方法需要社发获取样品分布的统计参数，如果这些参数未知则需要通过样品数据对概率分布进行统计参数估计。

         如果实际问题不具备获取准确统计分布的条件时使用判别函数/几何分类器。

（4）训练与学习

         模式识别中的训练与学习是从训练样品中寻找某种分类函数在某种准则下的最优解，这个最优解使得分类器得到一组分类器参数。

         一般来说使用什么类型的分类函数和准则函数是由设计者人为选择的，分类函数的参数在学习过程中得到的结果取决于准则函数的最优解。

5、聚类分析/判别（无监督分类）

（1）聚类的设计

         聚类是一些相似实体的集合，在一个聚类内的两个点间的距离小于这个类内任一点和不在这个类内任一点间的距离。

         选择聚类方法应以理想的聚类概念为基础，如果数据不满足聚类所做的假设，那么算法不是去发现真实的结构而是在数据上强加上某一种结构。

         聚类准则：一种是试探法，根据所分类的问题，试探性进行样品的划分，确定一种准则并用它来判断样品分类是否合理；另一种是群体智能方法，在没有集中控制且不提供全局模型的前提下，利用群体的优势，分布搜索，一般比传统的优化方法更快地发现复杂优化问题的最优解。

         经验表明，当各类样品均很密集，各类样品个数相差不大，而类间距离较大时，适合采用误差平方和准则，如果各类样品数相差很大而类间距离较小时则不太适用。

（2）基于试探法的聚类设计

         最临近规则试探法：假设前i个样品已经被分到k个类中，对于第i+1个样品，若其到其中某个类m的距离小于给定阈值则归类为m类，否则为其建立第k+1个新类；最临近规则试探法与第一个中心的选取、阈值T的大小、样品排列次序以及样品分布的几何特性有关，运算简单，当有关于模式几何分布的先验知识作为指导给出阈值T及初始点时，能较快地获得合理的聚类结果。

         最大最小距离试探法：利用样品内部特性，计算出所有样品间的最大距离作为归类阈值的参考，改善阈值及分类准确性。

         层次聚类试探：对给定的数据集进行层次的分解，直到满足某种条件，分为合并、分裂两种方案，合并层次聚类将每个对象作为一个类，根据类间距离的不同合并距离小于阈值的类直到终止条件；分类层次聚类将所有对象置于同一个类，然后逐渐细分为小的类直到终止条件。

（3）基于群体智能优化算法的聚类设计

         群体智能算法的仿生计算一般由初始化种群、个体更新和群体更新三个过程组成。群体智能算法是一种概率搜索算法，与传统优化方法不同，在进行问题求解时不依赖于问题本身的严格数学性质，不要求所研究的问题是连续可导的，不需要建立问题本身的精确数学描述模型，不依赖于知识表示，不依赖先验知识启发，而是直接对输入信息进行处理，可以求解那些难以有效建立形式化模型、使用传统方法难以解决的问题。其优势在于渐进式寻优、体现适者生存的自然选择规律、有指导的随机搜索、并行式搜索等等。

a.初始化种群：一种是完全随机产生，另一种是结合先验知识产生以使得算法较快收敛到最优解。种群的初始化主要包括问题解形式的确定、算法参数的选取和评估函数的确定等。

         对于任何一类优化问题，在应用群体智能算法求解之前都需要对问题的解空间进行编码操作，将具体问题以一定的形式给出。

         群体智能算法中最为关键的算法参数是种群的规模和算法终止条件中的最大迭代次数，另外还有控制参数。

         群体智能算法一般用适应度来评价个体（问题的解）的好坏。

	问题解形式	算法参数-控制参数
传统进化/遗传算法	染色体形式	交叉概率、变异概率；个体适应度、免疫平衡算子
粒子群算法	粒子所经历的位置	惯性权重、速度调节参数
蜂群算法	蜜源	蜜源开采次数
蚁群算法		信息素挥发系数
猫群算法		分组率、记忆池大小、个体基因的改变范围
混合蛙跳算法		模因分组参数
人工鱼群算法		尝试次数、感知范围、步长、拥挤度、人工鱼群数目
细菌觅食算法		趋化算子、繁殖算子、迁徙算子

b.个体更新：依靠操作算子实现，一种是依靠自身的能力在解空间中寻找新的解，另一种是受到其他解的影响更新自身。

依靠自身能力进行局部搜索

传统进化算法	通过交叉、变异
Memetic算法	完成遗传操作后对群体中所有个体局部搜索以提高解的质量
猫群算法-搜寻模式	复制自身位置后变异操作，通过适应度计算选取最好的解
蜂群算法-跟随蜂位置	在引领蜂位置上加一个随机扰动
细菌觅食算法	通过迁徙算子
人工鱼群算法	尝试聚群算子和追尾算子后若适应度未改善则执行觅食算子

受到其他解的影响来更新自身

免疫算法	把上一代个体的优秀基因作为疫苗直接注射到下一代个体相应基因位
猫群算法-跟踪模式	通过猫所记忆的当前群体中的全局最优解来更新自身
粒子群算法	全局模式追随自身极值和全局极值；局部模式受自身极值和邻近粒子影响
混合蛙跳算法	利用子群最优位置和全局最优位置来更新新蛙群中最差青蛙位置
蚁群算法	根据先前蚂蚁在所行路径上留下的信息素
蜂群算法-引领蜂	通过跟随蜂搜寻到的最优位置实现自身更新

b.群体更新：种群中个体更新的宏观表现，对于算法中的搜索和收敛性能具有重要作用。

         个体更新实现群体更新：采用贪婪选择机制，即比较个体更新前后的评估值，保留较优的个体使个体自身不断优化从而改善群体质量。

         子群更新实现群体更新：子群运行相同的搜索模式，实行子群间的协同合作与信息交互；子群执行不同的搜索模式，提高算法的全局搜索能力从而使群体解质量提高。

         选择机制实现群体更新：群体更新若一味选择适应度高的个体，容易造成种群内部多样性枯竭使算法早熟，搜索陷入局部最优，为避免退化现象，个体更新后允许较差个体出现以此来扩充种群多样性，同时保证种群进化的整体方向。