模式识别理论基础

最新推荐文章于 2023-02-03 20:33:34 发布

Strive for the best！

最新推荐文章于 2023-02-03 20:33:34 发布

阅读量2.2k

点赞数 1

分类专栏：模式识别文章标签：机器学习模式识别聚类算法算法

本文链接：https://blog.csdn.net/xystrive/article/details/111210342

版权

本文深入探讨了模式识别的基础理论，包括聚类分析中的k均值算法，线性判别函数与感知器算法的原理，以及贝叶斯判别准则的应用。文章详细阐述了数据获取、预处理、特征选择等模式识别系统的基本构成，并讨论了不同类型的分类方法，如监督和非监督分类。重点讲解了k均值算法的迭代过程和线性判别函数的几何特性，同时介绍了感知器的学习过程和收敛性。最后，提到了贝叶斯决策的最小错误率和最小风险准则，以及特征提取在模式识别中的作用。

摘要由CSDN通过智能技术生成

由word文档导入，有些信息可能遗漏

一．绪论

定义
研究如何使机器具有识别、分类能力的学科。
具体说就是利用计算机自动地（或者少人为干预地）把待识别的模式分配到各自类中。
模式识别系统
2.1基本构成：
 数据获取
 预处理
 特征选择/提取
 分类规则训练
 分类决策

2.2“处理”与“识别”两个概念的区别：
处理：输入与输出是同样的对象，性质不变。
识别：输入的是事物，输出的是对它的分类、理解和描述。

2.3模式识别系统分类
从实现方法来分：
监督（有人管理）分类：利用判别函数进行分类判别。需要有足够的先验知识。
非监督（无人管理）分类：用于没有先验知识的情况下，通常采用聚类分析的方法。

二．聚类分析

1.概念：
非监督分类，距离在聚类中很关键，由模式样本的特征值变成数量再变成特征向量。
2.模式相似性的测度：距离
1）欧式距离
在这里插入图片描述
2）马氏距离

3）明氏距离

4）汉明距离

5）角度相似性函数

k均值算法

1.前提：
模式特征矢量集为{x1,x2,…,xN}；类的数目K是事先取定的。
2.基本思想：
任意选取K个聚类中心，按最小距离原则将各模式分配到K类的某一类。不断计算聚类中心和调整各模式的类别，最终使各模式到其判属类别中心的距离平方之和最小。
Sj：第j个聚类集（域），Zj ；聚类中心，Nj： Sj中所含的样本个数
聚类中心的选择应使准则函数J极小，Sj类的聚类中心应选为该类样本的均值。
3.步骤：
(1)任选K个模式特征矢量作为初始聚类中心： z1(1) ,z2(1) ,…zK(1)。括号内的序号表示迭代次数。
(2)将待分类的模式特征矢量集{x}中的模式逐个按最小距离原则分划给K类中的某一类。
(3)计算重新分类后的各聚类中心zj(k+1)，即求各聚类域中所包含样本的均值向量：，以均值向量作新的聚类中心。可得新的准则函数：
(4)如果zj(k+1)=zj(k)(j=1,2,…K),则结束；否则，k=k+1,转(2)。
注意：多次运行K均值算法，例如50~1000次，每次随机选取不同的初始聚类中心。聚类结束后计算准则函数值，选取准则函数值最小的聚类结果为最后的结果。该方法一般适用于聚类数目小于1