统计模式识别理论与方法

我们在前文《模式识别的基本概念与理论体系》中就已经提及“模式分类”。

具体内容看我的CSDN文章:模式识别的基本概念与理论体系-CSDN博客 

模式的识别方法主要有统计模式识别方法和结构模式识别方法两大类。统计模式识别方法提出得较早,理论也较成熟,其要点提取待识别模式的一组统计特征,然后按照一定准则所确定的决策函数进行分类判决。例如在汉字识别中,国外学者大多采用这种方法,从效果上看,对单一字体的汉字识别效果较好,但对不同字体混排的印刷资料,由于这种方法没有考虑汉字的结构特征,因而很难适用。结构模式识别的要点把待识别模式看作是由若干较简单子模式构成的集合,每个子模式再分为若干基元,这样,任何一个模式都可以用一组基元及一定的组合关系来描述,就像一篇文章由单字、词、短语和句子按语法规则构成一样,所以这种方法又称为句法模式识别。用这种方法描述汉字字形结构是比较合适的,因此它在手写汉字的识别方面已经得到了应用。把统计识别方法与结构识别方法结合起来是近年来发展的一种趋势,它既可以吸取统计识别方法的优点,又可利用结构识别方法所得到的结构信息,可取得较好的识别效果。

另外,随着模糊数学及人工智能中某些领域研究的发展,人们已开始逐渐将其有关技术应用于模式识别的各个环节之中。尤其是人工神经网络所取得的成就以及它与模式识别的结合,使模式识别的研究进人了一个新的发展阶段,出现了模糊模式识别智能模式识别的提法。

接下来,我们将对统计模式识别结构模式识别模糊模式识别智能模式识别进行讨论。

统计模式识别是最先提出的一种模式识别方法。它首先通过观察与测量,对待识别模式提取一组统计特征,并将其表示为一个量化的特征向量,然后再用以某种判决函数设计的分类器对它进行归类。

模式识别方法按事先有否类的定义分为定界分类不定界分类这两大类。所谓定界分类方法是指事先已确定了预期中类的界限定义,已知各类别的样本,并依此设计了判决函数,分类时只需用判决函数对待识别模式的特征进行判决,以确定它应该归人到哪一类中去。所谓不定界分类方法是指事先不知道有哪些类别,它是根据物以类聚的原则把相似程度较高的模式分为一类的。在下面讨论的方法中,聚类分析属于不定界分类,其余为定界分类。

一、模板匹配分类法

这是模式识别中一个最原始、最基本的分类方法。基本思想是,先对每一模式类建立一个模板,当要对一个待识别模式进行识别时,就用该模式与模板进行匹配,并按待识别模式与模板的匹配情况对它进行识别。实现匹配的方法有多种,下面讨论其中的两种。

(一)光学模板匹配

1. 基本思想与定义

基本思想:通过预定义的模板(Template)与输入模式的相似性度量,判断输入模式是否属于模板对应的类别。核心是将待识别模式与已知模板在特征空间中进行逐点匹配,寻找最佳匹配位置或最佳匹配度。

定义:设模板为,输入图像为,模板匹配是在中搜索所有可能的子图像,计算其与的相似度,取最大值对应的位置为匹配结果:

2. 表示形式与实现过程

表示形式:

(1)模板与图像均为二维矩阵,像素值表示灰度或颜色强度。

(2)相似度度量常用互相关(Cross-Correlation)、归一化互相关(NCC):

其中为子图像均值和标准差,为模板均值和标准差。

实现过程:

(1)预处理:对模板和图像进行灰度归一化,消除光照差异。

(2)滑动窗口匹配:在图像上以步长 1 滑动模板大小的窗口,提取子图像。

(3)相似度计算:对每个子图像计算 NCC 值,范围在 [-1, 1],值越大匹配度越高。

(4)决策判断:设定阈值τ,若最大,则判定为匹配类别。

3. 算法描述

算法归一化互相关模板匹配 

输入:模板,图像 

输出:最佳匹配位置 或匹配分数

(1)计算模板均值,标准差

(2)对图像遍历所有可能的位置:

a. 提取子图像 

b. 计算子图像均值 

c. 计算协方差 

d. 计算子图像标准差

e. 计算相似度(避免分母为 0 时设为 0)

(3)找到最大S_{NCC}对应的

4. 具体示例:遥感图像中的飞机检测

流程说明:

(1)模板制备:从遥感图像中截取标准飞机图像作为模板

(2)图像预处理:将待检测遥感图像灰度化,尺寸 1000×800。

(3)滑动匹配

1)遍历所有的左上角坐标

2)对每个子图像计算NCC,如图示某位置 NCC=0.85(超过阈值 0.8)

(4)结果输出:在匹配位置画矩形框,标注检测到飞机。

(二)模式匹配(广义模板匹配)

1.定义

不限于光学图像,泛指任何形式的模式(如图像、语音、文本)与模板的匹配,模板可以是特征向量、时间序列或符号序列。

2.表示形式:

(1)特征向量匹配:模板为特征向量 ,输入模式为,相似度用余弦相似度

(2)时间序列匹配:模板为时序信号,输入为,用动态时间规整(DTW)计算弯曲路径下的最小距离。(加粗的t是向量,不加粗的t是某一时刻)

示例:语音识别中的关键词检测

(1)模板库:存储“开机”关键词的梅尔频率倒谱系数(MFCC)序列

(2)输入处理:将实时语音信号转换为MFCC序列

(3)DTW匹配:计算的DTW距离,若距离小于阈值则触发关键词。

二、最小距离分类法

1. 基本思想与定义

在统计模式识别中,模式经某种数学变换后,被映射为一个量化的特征向量。这样,每一个模式就可被视作n维特征空间中的一个点,而且由两个点间的距离可以确定相应两个模式间的相似程度

基本思想将待分类样本分配到特征空间中距离最近的类别中心,假设同类样本在特征空间中围绕类别中心聚集

期间会涉及到多种距离,具体内容可以看我文章:二维三维空间上两点之间的距离-CSDN博客 

定义:设类别的中心为,样本的距离为,分类规则:

2. 距离度量与分类器设计

(1)欧氏距离(Euclidean Distance)

算法步骤:

(1)训练阶段:计算各类别均值

(2)分类阶段:对 计算到所有的欧氏距离,选择最小距离的类别

(2)马氏距离(Mahalanobis Distance)

考虑特征相关性,设类别协方差矩阵,则

 优势消除特征量纲影响,适应椭圆分布的类别

3. 示例:手写数字38的分类

特征选择:提取数字图像的7维几何特征(如重心坐标、笔画长度比)。

训练过程:收集100个“3”和100个“8”的样本,计算类别中心

分类流程:

(1)输入未知数字,提取7维特征向量

(2)计算

(3)判定为“3”类(距离更小)

三、相似系数分类法

1. 基本思想与定义

基本思想通过样本与类别原型的相似性系数度量分类,相似系数越高,属于该类的可能性越大

定义:相似系数 满足:

(1)取值范围是,值接近于1越相似;

(2)分类规则:,即从选择相似度最大的一个,那么所对应的模式类就是待识别模式应该归入的模式类。

2. 常用相似系数

(1)余弦相似度(Cosine Similarity)

适用于高维稀疏数据(如文本):

(2)相关系数(Correlation Coefficient)

度量线性相关性:

其中为样本和类别原型的均值。

3. 示例:新闻文本分类

特征表示:TF-IDF 向量(1000维),类别原型为各类新闻的平均 TF-IDF 向量。

分类步骤

(1)计算待分类文本向量与体育类原型 的余弦相似度0.75,与财经类原型0.42

(2)判定为体育类(相似度最高)

四、几何分类法

1. 基本思想与定义

前已述及,由特征向量表示的模式可被视为特征空间的一个点。这就有可能出现这样一

种情况:分属不同模式类\omega _i的点集在几何上是分离的,即不同类的点集分别局限于一个区域

内。此时,就可以设计一个判决函数G(X),使得对不同类的模式,G(X)有不同的值,这样通

过运用G(X)就可实现对模式的分类。

基本思想将类别在特征空间中用几何形状(如超平面、球体、凸多边形)划分,通过样本与几何形状的位置关系分类

2. 线性超平面分类

定义:设 d 维特征空间中,类别\omega _1 和\omega _2 由超平面划分,分类规则:

最优超平面(如 SVM)需最大化类别间隔:

为类别标签。

3. 示例:二维数据二分类

数据分布:两类样本分布在平面上,线性可分。

分类流程:

训练 SVM 模型,得到超平面

新样本 代入:,位于超平面上(实际应用中需考虑松弛变量)

五、Bayes 分类法

(一)Bayes 判决法则

1. 基本思想与定义

基本思想:基于贝叶斯定理,利用先验概率和类条件概率,计算后验概率

选择后验概率最大的类别。我们知道,后验概率是一种客观概率,它表明随机试验中事件发生的相对频率,值越大,表示发生的相对频率越高。

Bayes 定理

其中为证据因子。

判决法则

2. 正态分布下的判别函数

假设类条件概率满足正太分布,则

判别函数简化为:

(二)Bayes 分类器

1. 设计步骤

1参数估计:

1)先验概率n_k为类\omega _k的样本数,n 为总样本数)

2)均值

3)协方差矩阵

2分类决策:对计算所有判别函数,选择最大值对应的类别。

2. 示例:两类高斯分布数据分类

数据设定:

新样本

(1)计算

(2)计算

(3)比较g_1g_2 ,选择较大者对应的类别。

六、聚类分析法

(一)属性聚类(基于数据属性的聚类)

1. K-means 聚类

基本思想将样本划分为 K 个簇,使簇内样本距离均值最小

算法步骤:

(1)初始化 K 个簇中心

(2)迭代直至收敛:

a. 分配阶段:将每个样本分配到最近的簇 

b. 更新阶段:计算新簇中心

(3)目标函数(簇内平方和):

2. 示例:用户行为分群

特征:用户月消费金额x_1和购物频率x_2,共1000个用户。

流程:

(1)设定K=3,随机选择3个初始中心

(2)迭代10次后,得到3个簇:

簇 1:低消费低频率(

簇 2:中消费中频率(

簇 3:高消费高频率(

(二)概念聚类(基于语义概念的聚类)

1. 基本思想与定义

基本思想不仅考虑数据属性,还构建层次化的概念描述,每个簇对应一个可解释的概念(如 “年轻高收入群体”)。

定义:聚类结果需满足:

(1)簇内样本共享共同属性(如年龄 <30,收入> 10 万

(2)概念描述具有逻辑表达式(如 

2. 算法:CLUSTER/2

步骤:

(1)属性选择:确定用于聚类的属性(如年龄、收入、教育程度)

(2)概念生成:对每个可能的簇,生成合取范式(CNF)的概念描述,如

(3)评估函数:最大化簇的凝聚度(内部相似性)和分离度(外部差异性),同时最小化概念复杂度。

3. 示例:学生成绩聚类

属性:数学成绩(优 / 良 / 中)、英语成绩(优 / 良 / 中)、是否参加竞赛(是 / 否) 概念簇:

簇 1:数学优英语优竞赛是(学霸组)

簇 2:数学中英语良竞赛否(普通组)

七、理论拓展与对比分析

1. 分类方法性能对比

方法

优点

缺点

适用场景

模板匹配

简单直观,无需训练

模板需人工设计,抗变形能力差

固定模式识别(如 OCR)

最小距离

计算高效

假设类别中心可代表全局分布

低维、类内分布均匀数据

Bayes分类

理论最优错误率

需已知概率分布,参数估计复杂

高维统计数据分类

K-means

无监督聚类,收敛速度快

需预设簇数,对初始中心敏感

大规模数据分群

2. 统计模式识别的数学基础

(1)统计决策理论

风险最小化:设损失函数,期望风险,Bayes分类器最小化该风险。

(2)大数定律与中心极限定理

保证当样本量足够时,经验均值和协方差收敛于真实值,支撑参数估计的有效性。

八、应用与挑战

1. 典型应用

(1)生物识别:指纹识别(模板匹配结合minutiae特征的最小距离分类)

(2)金融风控:信用卡欺诈检测(Bayes分类器结合异常检测)

(3)推荐系统:用户聚类(K-means结合用户行为特征)

2. 核心挑战

(1)小样本学习:当类别样本数少(如n_k < d)时,协方差矩阵不可逆,需正则化(如贝叶斯岭回归)。

(2)非参数方法:当概率分布未知时,采用核密度估计(KDE)或近邻法(如 K-NN)。

(3)多模态数据融合:如何将图像、文本、语音等异质数据统一到特征空间(如联合概率模型)。

九、总结

        统计模式识别通过数学建模样本的统计特性,构建了从模板匹配到Bayes最优分类的完整体系。模板匹配和最小距离分类适用于简单场景,Bayes分类器提供理论最优解,而聚类分析则解决无监督模式发现问题。未来研究需聚焦于小样本鲁棒性、多模态融合及可解释性增强,推动统计方法与深度学习的深度结合,以应对复杂现实问题。

全书,搞了很久才搞到。。。想传数字图像处理全书的,可惜我没有权限。要的朋友可以联系我 正如前面已经提到的那样,本书重点讨论统计模式识别方法中的特征提取和分类决策。 从教学角度出发,首先研究各种分类器的设计方法是qJ取的,在这个基础上就更容易理解特 征提取和选择的重要性。对于一个实际的模式识别系统,当然只有在特征确定以后,才能对 分类器的参数进行计算。实际工作中,这两者常常是互相交又进行的,对不同的方案要进行 反复比较,特别是设计过程还可能影响到对训练集的重新编辑。本书的前几章着重讨论监 督学习,即已知训练集样本所属类别的条件下分类器的设计方法。然后讨论特征提取和选择 的准则和算法。在这之后,讨论在不利用或没有样本所属类别信息的情况下的分类方法,即 非监督模式识别方法。根据有关模式识别理论和技术的发展、我们在讨论了统计模式识别的 经典内容之后,分别在第ll章中介绍“人工押经网络”,在第12章中介绍“模糊模式识别方 法”及第13章中介绍“统计学习理论和支持向量机”。最后在第14章巾简要介绍“模式U1别 在语音信号数字处理中的应用举例”、第15章中介绍“印刷体汉字识别小的特征提取”。希望 通过这些实例使读者对一些模式识别方法在一维信导和二维因像识别中的应用钉一个更直 观的认识;同时也可了解到利用信号处理和图像处理技术获取模式识别的特征的一些常用 方法。当然,由于篇幅和本书的目的所限,对这些例子的介绍只能是较简单的,仪供读者参 考,在学习模式识别课程时可以不讲、感兴趣者可以课后阅读。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搏博

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值