模式识别--统计模式识别（2）

统计模式识别——线性分类器

1.线性分类器基础

基本概念

• 线性分类器：对于两类的分类问题，采用线性判别函数划分特征空间（即采用直线或平面等将两类样本在特征空间中的区域划分开），这样的分类器是线性分类器。

       线性分类器特点：特征空间一分为二，适合于解决两类的分类问题

对于两类二维问题来说，分类依据是一条直线。

这条直线的代数方程为：w1x1+ w2x2+ w0= 0

这条直线的向量形式为：wTx + w0= 0

由此我们可以定义该问题（可以推广到高维空间）的线性判别函数：g(x) = wTx + w0 ；

w ——权向量，为一个大于等于2 的整数，决策面的法向量；w0 ——阈值权；

• 线性判别函数的增广变换

则线性判别函数为g(x) = aTy；

y ——增广样本向量；a——增广（或广义）权向量

增广变换的特点：

• 维数增加了一维：DG= D + 1
• 样本向量实际还是位于原D维子空间中
• 样本间欧式距离保持不变
• aTy=0是过原点的超平面HG

此时我们便可以得到线性决策面H的方程:g(x) = 0.

线性决策面将特征空间分为两个区域:
.其中法向量w方向区域称为正侧区域（简称正侧）

.法向量w的反方向的区域称为负侧区域（简称负侧）

设计时，通常使正侧对应ω1类（甲类或A类）负侧对应ω2类（乙类或B类）。

2.线性分类器的决策规则

已知判别函数g(x) = wTx + w0，或g(x) = aTy；
则决策规则为：
    对于未知样本x，若g(x) > 0，则x决策为ω1类；

                              若g(x) < 0，则x决策为ω2类；

3.线性分类器设计常规步骤

给定类别已知的样本——训练样本集
                            ↓
选择一个准则函数J，其值反映分类器性能（分类结果优劣）
                            ↓
采用求最优解的数学方法求准则函数J的极值解，从而求得权向量w和阈值权w0，或增广权向量a

                            ↓

                得到线性分类器

上述就是关于线性分类器的介绍。