深之JohnChen的专栏

人生就象一杯苦酒，你可以用一生的时间喝完，也可以在短短的几年里喝完，然后就会喝甜酒。

模式和模式识别收藏

模式和模式识别

模式和模式识别概述

    1．模式、模式类与集合
    所谓模式是指在规定的特性上有相似之处的一些具体事物或现象。模式是人认识具体事物或现象时，按照规定的相似性抽象出来的分类，即模式，如图1所示。人们从6张样件图案的观察中找到每张图中图形“虚与实”的相似性，把它们分成“上实下虚”和“上虚下实，，两类，即两个模式。有了这种抽象后，可以对以后遇到的类似图案进行识别。
    所谓模式识别是指按模式抽象对事物或现象进行分类，辨识类的特征而做出判断的过程。模式识别是研究人类识别能力的数学模型，并借助于计算机技术实现对其模拟的科学，其识别系统如图2所示。

item24_11.GIF (4662 字节)

    模式和模式识别与数学中的集合论密不可分，只要认识了集合中有限的事物或现象就可以认识属于这一集合的其他事物和现象。因此，可以从集合论角度定义其相关概念。
   （1）环境它是指可测物理量的总体，可用ρb（x）函数的集合U表示，即

式中，向量b与x的分量个数取决于集合U中所有可能的函数，ρ取值不同，其值也不同。环境指的是客体或客体的复合，故被认识的对象是外部环境。但没有一种生物系统能够理解整个环境，如人眼也只能感觉电磁波谱中的一小部分，而不能感觉其全部。所以，识别只能在一定范围内，即一定环境的子集上进行。
（2）问题范围它指一个确定的应用领域中的客体ρf（x），是环境集合U的子集Ω，即

（3）模式集合Ω的元素（函数）称为模式，一个模式就是n中的一个函数f_i（x_i）（i＝1，2，…，n；j＝1，2，…，m），即

itemgs24_36.GIF (4912 字节)

item24_10.GIF (11108 字节)

    例如：黑白图像的灰度值有m＝1，n＝2；而彩色电视机的彩色图像则有m＝3，n＝3，其模式为f_r（x，y，t）、f_g（x，y，t）与f_b（x，y，t）。
   （4）模式识别用数学方法和计算机技术研究模式的自动处理和识别判断。
   （5）模式类简称类，是指模式识别时所分的类。在模式分类中，每个模式作为一个整体而不依赖于其他模式，把它分到k个可能类别Ω_k（k＝1，2，…，k）中某一个类Ω_k，且仅能被分到这一个类Ω_k中，如切削过程工况常被分为“正常”与“异常”两类。
    模式识别通常应满足条件：

itemgs24_37.GIF (7112 字节)

    模式类把Ω分成个数等于类数的几个子集（空间），每个模式类是其中的一个元素。
    2．模式识别中分类的基本原则
    1）应有一个代表性的样本集ω（ω

Ω），供搜集有关问题范围Ω的信息；
    2）一个模式应具备一个类的属性特征：
    3）同类模式的类属性特征在特征空间中组成某种排序的聚合域，不同类别的特征组成的区域是分离的；
    4）一个复杂的模式应能分解为简单的组成部分，即模式元；
    5）模式元间有一种确定的关系；
    6）如果两个模式的特征或模式元间，在规定的阈值下测得的差别是微小而可以忽略，则它们是相似的。
    3．模式识别系统工作的可靠性及其度量
    模式识别系统工作的可靠性是指它具有的识别指标（品质）的概率，常用误识（概）率表征其识别系统工作的品质度量。误识率是在样本发生的概率下误识别的概率，是一个条件概率。模式识别系统的TRTT要求先设计样本，以此求出决策规划，使该系统在规定的误识率（可靠性）下，有不低于给定的识别品质指标。为了评价该系统需要平价识别系统的样本，但两类样本都是对待识别对象在规定要求下的观测值。因此，统计决策理论是处理模式识别中模式分类与识别系统设计的基础。

贝叶斯决策

    运用统计决策理论设计的分类系统又称为分类器。贝叶斯决策是一种统计模式识别决策法，它有如下基本假定：
    l）各类别总体的概率分布是已知的；
    2）被决策的分类数是一定的；
    3）被识别的事物或对象有d个特征观测值x₁，x₂…x_d，它们的所有可能取值构成d维空间，称x＝［x₁，x₂，…，x_d]^T为d维特征向量，T表示转置。
    1. 基于最小错误率的贝叶斯决策规则

若
则

换言之，要求最小错误率，就是要求p（ω_i|x）为最大，式（38）又可表达为

若

　
其物理意义为：在观测得到的d维特征向量x发生的条件下，类别ω_i的所有条件概率中最大者为应归属的类，这样做可以使识别决策的错误率为最小、，即实现最小错误率的识别决策。
按贝叶斯公式有

itemgs24_40.GIF (3719 字节)

式中 c——类别数，Ω＝Ω_i（ω₁，ω₂，…，ω_i）
      x——·所有可能取值范围构成的d维空间中的d维特征向量

                    x＝［x₁，x₂，…，x_d]^T               （41）

p（ω_i）、p（ω_j）——先验概率；

——表示对于一切，如

j表示对一切的j。
    2．基于最小风险的贝叶斯决策规则
    基于最小错误率的贝叶斯决策只能保证错误率达到最小，而不能确定决策带来的后果，即风险性。若定义λ为决策α_i和自然状态（类别）ω_j的函数，以它表征决策为α_i时损失，而

              λ(α_i，ω_j)（i＝1，2，…,α；j＝1，2，…，c）        (42)

    定义给定观测值x下的条件期望损失（或条件风险）为

    则R（α_i|x）表示对于某个x取值采取决策α_i所带来的风险。基于最小风险的贝叶斯决策规则为

                   若 R（α_k|x）＝minR（α_i|x），则α＝α_k      （44）
式中    k∈α。
    式（43）含义为：对于所有x取值的条件风险R（α_i|x），最小风险（损失）的决策是使R（α_i|x）取得最小值时的决策。
    3．两类错误可能性
    在上述决策规则下有犯两类错误的可能，当事实上的状态为ω₂（若只讨论c＝2的两类问题时），但决策为ω₁，亦或反之。这两类错误的概率为

称p₁(e)与p₂(e)分别为两类错误率。事实上，基于最小错误率的贝叶斯决策是使这两类错误率之和为最小，即

min［p(ω₂)p₂(e)＋p(ω₁)p₁(e)] （46）

对于基于最小错误和最小风险的贝叶斯决策均要求先给定x与p(ω_i)，且p(ω_i)不可变。当p(ω_i)可变或事前无法知道时，利用上述两种决策规则就无法达到最小错误率或最小风险的水平。

线性判别函数及其应用
在进行实际识别时，也可按识别的问题和条件预先选定一个判别函数，再用样本值x确定判别函数中的未知参数。这一思路的数学表现常常是以某个特定的函数形式（或称准则函数）的优化问题，即用最优化方法来解决模式识别问题。最简单、最实用的判别函数是线性判别函数。这种方法有要求的计算量最少、存储量最小的优点，是一种基本的统计模式识别方法。线性判别函数的一般表达为下述矩阵式： g（X）＝W^TX+W₀ （47）式中 X——d维特征向量的样本 X＝［x₁，x₂，…，x_d]^T （48） W——权向量； W^T ＝［ω₁，ω₂，…，ω_d] （49） W₀——阈值权。 g（x）判别函数是d维特征空间中某个X点到超平面的距离。若以X_P表示X到超平面H的投影向量；r为X到超平面H的垂直距离；为权向量W的绝对值；W／为W方向上的单位向量，则有

利用线性判别函数进行决策就是用一个超平面对特征空间进行分割。超平面H的方向由权向量W决定，而位置由阈值权W₀的数值确定，H把特征空间分割为两个决策区域。当g（X）＞0时，（x）在H的正侧； g（x）＜0时，X在H的负侧。在刀具综合监视仪开发中，由切削试验数据样本确定线性判别函数g（X）中和各向量分别为(按(47)式)： W^T ＝［ω₁，ω₂，…，ω₇]＝[1，-5，1，0.8，4，64，0.5]，X^T＝［x₁，x₂，…，x₇]，W₀＝-213，故该仪器识别的线性判别函数为 g（X）＝x₁-5x₂+x₃+0.8x₄+4x₅+64x₆+0.5x₇-213 （52）在在FMS线的XH754卧式加工中心上对M5机攻螺纹监视时，x₁～x₇两类工况——正常与异常的取值分别为＝［0，7，8，4，8，0，0]；＝[39，7，60，82，13，1，15］，按式（52），得g₁（x）＝-205.2； g₂（x）＝+39.7，根据仪器计算机识别软件的设置，g（x）＜O为正常工况； g（x）＞O时为异常工况，则此时为正侧，故该监视仪正确地发出异常的工况报警。一般讲，线性判别函数适于一些简单的模式分类用。但在线性平面无法分割决策区域时，就采用非线性判别函数。处理非线性判别函数的一种方法是进行变换，把低维空间中的点映射到较高维空间中，可使判别函数线性化，归结于上述方法。例如，有以下二次判别函数

令 W^T ＝［α₁，α₂，α₃]，Y^T ＝［1，x，x²]，则式（53）线性化为

若 W^T ＝［-1，1，2]当x＜-1或x＞0.5时，g（x）＞0，x∈ω₁（或Ω₁），当-1＜x＜0.5时,g（x）＜0,x∈ω₂（或Ω₂）以上我们介绍了模式识别中数字特征的提取和选择概念及其基本方法。但实际上存在两类基本方法：一是分析法；二是研究式方法。前者是应用数学方法，根据给定的准则判据，求取最优的特征。这类数学方法有Fourier变换、Walsh变换、自相关与互相关分析或正交变换（如K－L展开式法）等。后者是按经验知识或专家知识找出特征。笔者的经验证明，特征提取与选择的有效方法是两种方法的结合与交互使用，通过实验加以验证修订。但对事件本质及信号特征的深入了解和必要的创见是成功的根本。此外，由于我们集中于利用计算机进行自动识别，故没有介绍其他识别方法。

发表于 @ 2006年03月10日 14:14:00|评论(loading...)

新一篇: 基于神经网络ZISC的模式识别系统 | 旧一篇: 特征提取

用户操作

[即时聊天] [发私信] [加为好友]

2323

订阅我的博客

2323的公告

★★★★★★欢迎访问深之JohnChen的BLOG!

文章分类

收藏

My Links

TOP 10

便民服务

个人简介

E-mail: cn770880@21cn.com

管理知识网站

营销知识网站

友情Blog

资料中心

存档

线性判别函数及其应用
在进行实际识别时，也可按识别的问题和条件预先选定一个判别函数，再用样本值x确定判别函数中的未知参数。这一思路的数学表现常常是以某个特定的函数形式（或称准则函数）的优化问题，即用最优化方法来解决模式识别问题。最简单、最实用的判别函数是线性判别函数。这种方法有要求的计算量最少、存储量最小的优点，是一种基本的统计模式识别方法。线性判别函数的一般表达为下述矩阵式： g（X）＝W^TX+W₀ （47）式中 X——d维特征向量的样本 X＝［x₁，x₂，…，x_d]^T （48） W——权向量； W^T ＝［ω₁，ω₂，…，ω_d] （49） W₀——阈值权。 g（x）判别函数是d维特征空间中某个X点到超平面的距离。若以X_P表示X到超平面H的投影向量；r为X到超平面H的垂直距离；为权向量W的绝对值；W／为W方向上的单位向量，则有

利用线性判别函数进行决策就是用一个超平面对特征空间进行分割。超平面H的方向由权向量W决定，而位置由阈值权W₀的数值确定，H把特征空间分割为两个决策区域。当g（X）＞0时，（x）在H的正侧； g（x）＜0时，X在H的负侧。在刀具综合监视仪开发中，由切削试验数据样本确定线性判别函数g（X）中和各向量分别为(按(47)式)： W^T ＝［ω₁，ω₂，…，ω₇]＝[1，-5，1，0.8，4，64，0.5]，X^T＝［x₁，x₂，…，x₇]，W₀＝-213，故该仪器识别的线性判别函数为 g（X）＝x₁-5x₂+x₃+0.8x₄+4x₅+64x₆+0.5x₇-213 （52）在在FMS线的XH754卧式加工中心上对M5机攻螺纹监视时，x₁～x₇两类工况——正常与异常的取值分别为＝［0，7，8，4，8，0，0]；＝[39，7，60，82，13，1，15］，按式（52），得g₁（x）＝-205.2； g₂（x）＝+39.7，根据仪器计算机识别软件的设置，g（x）＜O为正常工况； g（x）＞O时为异常工况，则此时为正侧，故该监视仪正确地发出异常的工况报警。一般讲，线性判别函数适于一些简单的模式分类用。但在线性平面无法分割决策区域时，就采用非线性判别函数。处理非线性判别函数的一种方法是进行变换，把低维空间中的点映射到较高维空间中，可使判别函数线性化，归结于上述方法。例如，有以下二次判别函数

令 W^T ＝［α₁，α₂，α₃]，Y^T ＝［1，x，x²]，则式（53）线性化为

若 W^T ＝［-1，1，2]当x＜-1或x＞0.5时，g（x）＞0，x∈ω₁（或Ω₁），当-1＜x＜0.5时,g（x）＜0,x∈ω₂（或Ω₂）以上我们介绍了模式识别中数字特征的提取和选择概念及其基本方法。但实际上存在两类基本方法：一是分析法；二是研究式方法。前者是应用数学方法，根据给定的准则判据，求取最优的特征。这类数学方法有Fourier变换、Walsh变换、自相关与互相关分析或正交变换（如K－L展开式法）等。后者是按经验知识或专家知识找出特征。笔者的经验证明，特征提取与选择的有效方法是两种方法的结合与交互使用，通过实验加以验证修订。但对事件本质及信号特征的深入了解和必要的创见是成功的根本。此外，由于我们集中于利用计算机进行自动识别，故没有介绍其他识别方法。