文章目录
引言 P557
- 识别 是基于目标的 描述 给该目标赋予 标志 的过程
- 本章介绍的模式识别方法主要分为两个领域:
① 决策理论方法:处理的是使用 定量描绘子 来描述的各种模式,如长度、面积和纹理等
② 结构方法:处理的是由 定性描绘子 来描述的各种模式 - 识别的核心问题是 通过样本模式进行 “学习” 这一概念
一、模式和模式类 P557 - P560
-
模式 是描绘子的组合。在有关模式识别文献中经常使用 特征来表示描绘子
-
模式类 是具有共同属性的一族模式。模式类用 ω 1 , ω 2 , . . . , ω W \omega_1,\omega_2,...,\omega_W ω1,ω2,...,ωW 表示,其中 W是模式类数
-
由机器完成的 a) 模式识别涉及自动化地 且 b) 人为干预尽可能少地 将不同模式赋予不同类别的技术
-
模式与模式类概念自总结
① 模式 类似于 编程中 对象 的概念
② 模式类 类似于 编程中 类 的概念 -
实践中常用的三种模式组合是:a) 向量(用于定量描述)、b) 串(用于结构描述)、c) 树(用于结构描述)
-
模式向量
① 模式向量 由粗体小写字母表示,如 x , y 和 z x,y和z x,y和z,并采用下列形式
x = [ x 1 x 2 ⋮ x n ] x = \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix} x= x1x2⋮xn
或
x = [ x 1 x 2 ⋯ x n ] T x = \begin{bmatrix} x_1&x_2&\cdots&x_n \end{bmatrix}^T x=[x1x2⋯xn]T
式中,每个分量 x i x_i xi 表示 第 i 个描绘子,n 是与该模式有关的描绘子的 总数
② 模式向量x中的各个分量(描述子)的性质,取决于 用于描述该物理模式本身的方法
- 串
- 树
- 模式向量、串和树概念自总结
① 模式向量中的各分量(描述子)性质,取决于 描述物理模式本身的方法。模式向量由 定量信息(描述子)表征
② 对于指纹识别等问题,使用结构方法通常能得到解决,因为这种问题不仅 a) 定量度量每个特性,而且 b)这些特性间的空间关系决定了(模式)类别的成员
③ 串描述适合于生成其结构是基于 基元 的简单链接,并且通常是和 边界形状有关系的目标模式和其他实体模式
④ 对于多层排序方案都会导致树结构
二、基于决策理论方法的识别 P560 - P585
-
决策理论方法 处理的是 使用定量描绘子来描述的各种模式(模式向量)
-
决策理论方法识别以使用 决策(或判别)函数 为基础
-
在决策理论方法识别的探讨中
① 令 x = ( x 1 , x 2 , . . . , x n ) T x = (x_1,x_2,...,x_n)^T x=(x1,x2,...,xn)T 表示 n 维模式向量
② 对于 W 个模式类 ω 1 , ω 2 , . . . , ω W \omega_1,\omega_2,...,\omega_W ω1,ω2,...,ωW ,决策理论模式识别的基本问题是依据如下属性 找到 W 个决策函数 d 1 ( ) , d 2 ( ) , . . . , d W ( ) d_1(),d_2(),...,d_W() d1(),d2(),...,dW():
a) 如果模式 x x x 属于类 ω i \omega_i ωi,则
d i ( x ) = > d j ( x ) , j = 1 , 2 , . . . , W ; j ≠ i d_i(x) = > d_j(x) ,j = 1,2,...,W;j \neq i di(x)=>dj(x),j=1,2,...,W;j=i
b) 换句话解释 a)中式子。即:将 x x x 代入所有决策函数后,如果 d i ( x ) d_i(x) di(x) 得到最大值,则称 未知模式x 属于 第 i 个模式类 。该关系可以任意求解
③ 将 类 ω i \omega_i ωi 从 类 ω j \omega_j ωj 中分离出来的 决策边界,由满足 d i ( x ) = d j ( x ) d_i(x) = d_j(x) di(x)=dj(x) 的 x x x 值给出,或等价地由
d i ( x ) − d j ( x ) = 0 d_i(x) - d_j(x) = 0 di(x)−dj(x)=0
的 x x x 值给出
a) 通常的做法,使用单一函数 d i j = d i ( x ) − d j ( y ) = 0 d_{ij} = d_i(x) - d_j(y) = 0 dij=di(x)−dj(y)=0 来识别两个类之间的 决策边界。因此模式类 ω i \omega_i ωi 有 d i j ( x ) > 0 d_{ij}(x) > 0 dij(x)>0,而对于模式类 ω j \omega_j ωj 有 d i j ( x ) < 0 d_{ij}(x) < 0 dij(x)<0 -
决策函数理论自总结
① 每个模式类 x x x 对应一个 决策函数 d i ( x ) d_i(x) di(x),决策函数的返回值大小反映了:某一模式 x x x 属于 模式类 ω i \omega_i ωi的程度,决策函数的返回值 越大从属程度越高,其中最大返回值决定 模式从属于哪个模式类
2.1 匹配 P560 - P564
-
基于 匹配的识别技术通过一个原型模式向量来表示每个类。根据一种预先定义的测度,将一个未知模式赋予最近的类。
① 最简单的方法是 最小距离分类器,如其名称所示,最小距离分类器计算该未知模式与每个原型向量间的(欧氏)距离。它选择最小距离来决策。
② 还有一种基于 相关 的方法,该方法可根据图像用公式来直接表达 -
最小距离分类器
① 假设我们把每个 模式类的原型 定义为 该类模式的平均向量:
m j = 1 N j ∑ x ∈ ω j x j , j = 1 , 2 , . . . , W m_j = \frac{1}{N_j}\sum_{x \in \omega_j} x_j,j = 1,2,...,W mj=Nj1x∈ωj∑xj,j=1,2,...,W
式中, N j N_j Nj 是来自 ω j \omega_j ωj类 模式向量的数量,求和操作对所有这些向量执行(即对于所有同模式类的样本 所对应的模式向量)。W是模式类的个数
② 求位置模式向量 x x x 的类成员的一种方法是,将他赋给其最接近的原型类。使用欧氏距离求接近程度可将该问题简化为计算如下距离测度:
D j ( x ) = ∥ x − m j ∥ , j = 1 , 2 , . . , W D_j(x) = \Vert x - m_j \Vert ,j = 1,2,..,W Dj(x)=∥x−mj∥,j=1,2,..,W
然后,若D_i(x)最小距离,则把 x x x 赋给类 ω i \omega_i ωi 。也就是说距离意味着该式表现最好的匹配
即:以未知模式向量距 各模式类的原型模式向量的距离,判定该未知模式向量 从属于 哪个模式类
③ 对于最小距离分类器对应的 d j ( x ) d_j(x) dj(x)(决策函数,其返回最大值时 等效于 上述的最小距离时的情况,并且决定模式向量的归属):
d j ( x ) = x T m j − 1 2 m j T m j , j = 1 , 2 , . . . , W d_j(x) = x^Tm_j - \frac{1}{2}m_j^T m_j ,j = 1,2,...,W dj(x)=xTmj−21mjTmj,j=1,2,...,W
并在 d i ( x ) d_i(x) di(x) 取最大数值时,将 x x x 划归 类 ω i \omega_i ωi。该函数等同于选择最小距离(即二值目标一致,均能确定 x x x 属于哪个 类 ω i \omega_i ωi)
④ 对于最小距离分类器,类 ω i \omega_i ωi 和 类 ω j \omega_j ωj 之间的决策边界为
d i j ( x ) = d i ( x ) − d j ( x ) = x T ( m i − m j ) − 1 2 ( m i − m j ) T ( m i + m j ) = 0 d_{ij}(x) = d_i(x) - d_j(x) = x^T(m_i - m_j) - \frac{1}{2}(m_i - m_j)^T (m_i + m_j) = 0 dij(x)=di(x)−dj(x)=xT(mi−mj)−21(mi−mj)T(mi+mj)=0
式中给出的决策面是连接 m i m_i mi 和 m j m_j mj 的线段的垂直等分线。n表示模式向量中分量(描绘子)的个数。n = 2,垂直等分线是一条直线;n = 3时,它是一个平面;n > 3时,它是一个超平面
- 相关匹配
① 大小为 m*n 的模板 w ( x , y ) w(x,y) w(x,y) 与图像f(x,y)的相关可表示为
c ( x , y ) = ∑ s ∑ s w ( s , t ) f ( x + s , y + t ) c(x,y) = \sum_s \sum_s w(s,t)f(x+s,y+t) c(x,y)=s∑s∑w(s,t)f(x+s,y+t)
其中,求和的上下限取 w 和 f 的共同范围(滑动时的重叠部分)。空间相关通过相关定理与函数的变换相联系(傅里叶变换对):
式中,表示空间相关,
F
∗
F^*
F∗ 是 F 的共轭复根
② 归一化相关系数(反映 模板图像(w) 与 目标图像(
f
(
x
,
y
)
f(x,y)
f(x,y))中与之同大小区域 的相关性):
γ
(
x
,
y
)
=
∑
s
∑
t
[
w
(
s
,
t
)
−
w
‾
]
∑
s
∑
t
[
f
(
x
+
s
,
y
+
t
)
−
f
‾
x
y
]
{
∑
s
∑
t
[
w
(
s
,
t
)
−
w
‾
]
2
∑
s
∑
t
[
f
(
x
+
s
,
y
+
t
)
−
f
‾
x
y
]
2
}
1
2
\gamma(x,y) = \frac{\displaystyle\sum_s \displaystyle\sum_t[w(s,t) - \overline w]\displaystyle\sum_s \displaystyle\sum_t[f(x+s,y+t) - \overline f_{xy}]}{\{ \displaystyle\sum_s \displaystyle\sum_t[w(s,t) - \overline w]^2 \displaystyle\sum_s \displaystyle\sum_t[f(x+s,y+t) - \overline f_{xy}]^2 \}^\frac{1}{2}}
γ(x,y)={s∑t∑[w(s,t)−w]2s∑t∑[f(x+s,y+t)−fxy]2}21s∑t∑[w(s,t)−w]s∑t∑[f(x+s,y+t)−fxy]
其中,求和的上下限取
w
w
w 和
f
f
f 的共同范围(滑动时,重合的区域),
w
‾
\overline w
w 是模板的平均值(模板系数的平均值,只计算一次),
f
‾
x
y
\overline f_{xy}
fxy 是
f
f
f 中与
w
w
w 重合区域的平均值。通常,我们将
w
w
w 称为模板,而将 相关称为 模板匹配。
γ
(
x
,
y
)
\gamma(x,y)
γ(x,y) 的值域为 [-1,1],因而
f
f
f 和
w
w
w 的幅值变化是归一化的。
a) 当个归一化的
w
w
w 和
f
f
f 中对应的归一化区域相同时,
γ
(
x
,
y
)
\gamma(x,y)
γ(x,y)出现 最大值。这说明 最大相关(即最可能匹配)。
b) 当两个归一化函数在归一化系数求解中为最小值时,则两个归一化函数具有为最小相似性。
2.2 最佳统计分类器 P564 - P570
-
考虑一种识别的 概率方法。在平均意义上有可能推导出一种最佳分类方法,用这种方法会产生 最低的错误分类的概率
-
基础知识
① 来自 类 ω i \omega_i ωi 的特定 模式x 的概率 表示为 p ( ω i / x ) p(\omega_i / x) p(ωi/x) (即表示x是来自 ω i \omega_i ωi的概率)
② 如果模式分类器判断 x 是来自(从属于) 类 ω j \omega_j ωj,而实际上它来自类 ω i \omega_i ωi,那么分类器就会导致一次 损失(即分类器分错时的损失量),表示为 L i j L_{ij} Lij 。由于 x 可能属于所考虑的 W 个类中的任何一个类,故 将模式 x 赋予 类 ω j \omega_j ωj 的 平均损失为
r j ( x ) = ∑ k = 1 W L k j p ( ω k / x ) r_j(x) = \displaystyle\sum_{k=1}^W L_{kj} p(\omega_k / x) rj(x)=k=1∑WLkjp(ωk/x)
该式在决策理论属于中通常称为 a) 条件平均风险 或 b) 损失
③ 由 p ( A ∣ B ) = [ p ( A ) p ( B ∣ A ) ] / p ( B ) p(A|B) = [p(A) p(B|A)] / p(B) p(A∣B)=[p(A)p(B∣A)]/p(B) (条件概率知识)进一步推导 ② 中式子,可得
r j ( x ) = 1 p ( x ) ∑ k = 1 W L k j p ( x / ω k ) P ( ω k ) r_j(x) = \frac{1}{p(x)}\displaystyle\sum_{k=1}^W L_{kj} p(x/\omega_k) P(\omega_k) rj(x)=p(x)1k=1∑WLkjp(x/ωk)P(ωk)
式中, p ( x / ω k ) p(x/\omega_k) p(x/ωk) 是来自 ω k \omega_k ωk 的模式的 概率密度函数, P ( ω k ) P(\omega_k) P(ωk) 是 类 ω k \omega_k ωk 出现的概率。由于 1 / p ( x ) 1/p(x) 1/p(x) 为正,且对所有的 r j ( x ) r_j(x) rj(x),j = 1,2,…,W 均是如此,因此忽略该项,可得简化后的 平均损失表达式 为:
r j ( x ) = ∑ k = 1 W L k j p ( x / ω k ) P ( ω k ) r_j(x) = \displaystyle\sum_{k=1}^W L_{kj} p(x / \omega_k) P(\omega_k) rj(x)=k=1∑WLkjp(x/ωk)P(ωk)
④ 分类器由 W 个可能的类,任何给定的位置模式可从这些类中选择。如果分类器的每个模式 x 计算 r 1 ( x ) , r 2 ( x ) , . . . , r W ( x ) r_1(x),r_2(x),...,r_W(x) r1(x),r2(x),...,rW(x),并将该模式最低损失赋给相应的类,则 关于所有决策(即对不同模式进行的全部决策判定)的总体平均损失将是最低的。这种将总体平均损失降至最低的分类器称为 贝叶斯分类器。因此,如果 r i ( x ) < r j ( x ) , j = 1 , 2 , . . . , W 且 j ≠ = i r_i(x) < r_j(x),j = 1,2,...,W 且 j \neq = i ri(x)<rj(x),j=1,2,...,W且j==i,那么 贝叶斯分类器将 未知模式x赋给 $ \omega_i $ 。换句话说,如果对所有的 j 且 j ≠ i j \neq i j=i 有
∑ k = 1 W L k i p ( x / ω k ) P ( ω k ) < ∑ q = 1 W L q i p ( x / ω q ) P ( ω q ) \displaystyle\sum_{k=1}^W L_{ki} p(x / \omega_k) P(\omega_k) < \displaystyle\sum_{q=1}^W L_{qi} p(x / \omega_q) P(\omega_q) k=1∑WLkip(x/ωk)P(ωk)<q=1∑WLqip(x/ωq)P(ωq)
那么 x 将赋值给 ω i \omega_i ωi(即:将未知模式以最小损失赋给相应的类)
⑤ 正确的决策的损失通常被赋予 零值,而不正确的损失通常被赋予相同的非零值(譬如值1)。按照这样的条件,损失函数 变为:
L i j ( x ) = 1 − δ i j L_{ij}(x) = 1 - \delta_{ij} Lij(x)=1−δij
式中,
a) i = j i = j i=j 时, δ i j = 1 \delta_{ij} = 1 δij=1
b) i ≠ j i \neq j i=j 时, δ i j = 0 \delta_{ij} = 0 δij=0
即:不正确的决策的损失为 1,正确的损失为 0
⑥ 整合上述各式
a) r j ( x ) = ∑ k = 1 W ( 1 − δ k j ) p ( x / ω k ) P ( ω k ) = ∑ k = 1 W p ( x / ω k ) P ( ω k ) − p ( x / ω j ) P ( ω j ) r_j(x) = \displaystyle\sum_{k=1}^W (1 - \delta_{kj}) p(x / \omega_k) P(\omega_k) = \displaystyle\sum_{k=1}^W p(x / \omega_k) P(\omega_k) - p(x / \omega_j) P(\omega_j) rj(x)=k=1∑W(1−δkj)p(x/ωk)P(ωk)=k=1∑Wp(x/ωk)P(ωk)−p(x/ωj)P(ωj)
= p ( x ) − p ( x / ω j ) P ( ω j ) = p(x) - p(x / \omega_j) P(\omega_j) =p(x)−p(x/ωj)P(ωj)
b) 若对于所有的 j ≠ i j \neq i j=i均有:(即存最小损失值)
p ( x ) − p ( x / ω i ) P ( ω i ) < p ( x ) − p ( x / ω j ) P ( ω j ) p(x) - p(x / \omega_i) P(\omega_i) < p(x) - p(x / \omega_j) P(\omega_j) p(x)−p(x/ωi)P(ωi)<p(x)−p(x/ωj)P(ωj)
c) 等效于 b)中的式子:
p ( x / ω i ) P ( ω i ) > p ( x / ω j ) P ( ω j ) , j = 1 , 2 , . . . , W p(x / \omega_i) P(\omega_i) > p(x / \omega_j) P(\omega_j),j = 1,2,...,W p(x/ωi)P(ωi)>p(x/ωj)P(ωj),j=1,2,...,W
此时, 贝叶斯分类器将模式 x 赋给 类 ω i \omega_i ωi 。
d) 得到,0-1 损失函数的 贝叶斯分类器 对应的 决策函数 为:
d j ( x ) = p ( x / ω j ) P ( ω j ) , j = 1 , 2 , . . . , W d_j(x) = p(x / \omega_j) P(\omega_j),j = 1,2,...,W dj(x)=p(x/ωj)P(ωj),j=1,2,...,W
式中,模式向量 x 赋给其 决策函数 取得 最大值 的类 -
高斯模式类的贝叶斯分类器
① 考虑 贝叶斯分类器的决策函数,
d j ( x ) = p ( x / ω j ) P ( ω j ) , j = 1 , 2 , . . . , W d_j(x) = p(x / \omega_j) P(\omega_j),j = 1,2,...,W dj(x)=p(x/ωj)P(ωj),j=1,2,...,W
其中, p ( x / ω j ) p(x / \omega_j) p(x/ωj):概率密度函数,受模式向量的分量数目 n 的影响,可能是 n 元函数,如果其函数形式未定,则在实际应用中很困难实现。由于这个原因,使用贝叶斯分类器时,通常 假设对各种密度函数有一个解析表达式,且来自每个类的样本模式有一个必须的参数估计。目前, p ( x / ω j ) p(x / \omega_j) p(x/ωj)的最为通用的假设形式是 高斯概率密度函数
②
2.3 神经网络 P570 - P585
-
前面讨论的方法使用样本模式来估计每个模式类。最小距离分类器 完全由每个类 均值向量 来确定。类似的,对于总体为高斯分布的 贝叶斯分类器 ,完全由每个类的 a)均值向量 和 b)协方差均值 来确定。
① 用于估计这些参数的(已知其所属的类)模式通常称为 训练模式,来自每个类的这样一组模式称为 训练集。
② 使用 训练集 得到的 决策函数 的过程称为 学习 或 训练 -
对于最小距离分类器 与 贝叶斯分类器,训练很简单。每个类的训练模式被用于计算对应于该类的决策函数的参数。估计出问题中的参数后,分类器的结构也被固定,且其最终的性能将取决于 实际模式总体 是否满足 分类方法推导所做的统计假设
-
但是一个问题中的模式类的统计特性通常是未知的,或者是无法估计的。实际上,此类决策理论问题最好由 直接通过训练生成所需决策函数 的方法来处理。然后,没有必要再做关于 a)基本的概率密度函数 或 b)关于所考虑模式类的其他概率信息的假设
-
背景知识
① 基于神经网络实现决策的本质是 基于非线性计算单元(称为神经元),这些单元以网络的形式进行组织,就像大脑中互联的神经元那样。以此得到的模型我们称之为 神经网络 -
两个模式类的感知机
① 感知机:学习一个线性决策函数,用以正确地分离训练集的模式表示的类(即分离不同训练集表示的类)
② 在这种最基本的形式中,感知机学习一个线性决策函数,该决策函数 对分两个线性可分的训练集。图 12.14(a)显示了两个模式类的感知机模型。
这个基本装置的响应基于其输入的加权和,即
d
(
x
)
=
∑
i
=
1
n
w
i
x
i
+
w
n
+
1
d(x) = \displaystyle\sum_{i=1}^n w_i x_i + w_{n+1}
d(x)=i=1∑nwixi+wn+1
- 训练算法
① 线性可分算法
② 不可分类(不存在(超)平面分割训练集)
③ 多层前馈神经网络
a) 基本结构
b) 反向传播训练
c) 决策面的复杂性
三、结构方法 P585 - P587
- 12.2 节中讨论的技术 可定量地处理模式,并且忽略了模式形状中固有的结构关系。本节讨论的 结构方法 可通过精确地运用这些类型的关系来实现模式识别的目的
3.1 匹配形状数 P585 - P586
3.2 串匹配 P586 - P587
本章知识点总结
- 模式与模式类概念自总结
① 模式 类似于 编程中 对象 的概念
② 模式类 类似于 编程中 类 的概念 - 模式向量、串和树概念自总结
① 模式向量中的各分量(描述子)性质,取决于 描述物理模式本身的方法。模式向量由 定量信息(描述子)表征
② 对于指纹识别等问题,使用结构方法通常能得到解决,因为这种问题不仅 a) 定量度量每个特性,而且 b)这些特性间的空间关系决定了(模式)类别的成员
③ 串描述适合于生成其结构是基于 基元 的简单链接,并且通常是和 边界形状有关系的目标模式和其他实体模式
④ 对于多层排序方案都会导致树结构 - 决策函数理论自总结
① 每个模式类 x x x 对应一个 决策函数 d i ( x ) d_i(x) di(x),决策函数的返回值大小反映了:某一模式 x x x 属于 模式类 ω i \omega_i ωi的程度,决策函数的返回值 越大从属程度越高,其中最大返回值决定 模式从属于哪个模式类