【模式识别】模式识别课程复习

李老师模式识别课程：不记下来考完过不了多久就忘完了。以下皆为每个知识点一道经典题。

知识点1： 正态分布下的最小错误率bayes

在两类二维问题中，每类的特征向量都是正态分布的，协方差矩阵相同为 ，并且已知两类的均值分别为μ1=(1, 0)T，μ2=(－1, 0)T先验概率相等。
(1)	根据最小错误率分类器对特征向量x=(0, 1)T分类；
(2)	主轴长度为 ，画出从 (0, 1)T到μ1的Mahalanobis等距离曲线。	

补充知识点


解：（1） 相等且先验概率相等的条件下， 最小错误率分类器的决策面是直线，判别函数是样本到均值的Mahalanobis距离。

(2)特征向量只是方向，将其平移过类别中心点作长轴。

知识点2：fisher准则分类器

已知两类别训练样本为：w1:{ (-1, -2 )T ，(-3, 0)T }，w2:{ (0, 0)T，(2, 4)T}试用Fisher 准则设计线性分类器，求w和y0。

补充知识点：

== w和w0的物理意义，w是法线向量，分界面，w0则表示分界面距离远点的距离==

知识点3：感知器的设计步骤

已知两类别训练样本为：w1:{ (1,0 )T ，(-2, 1)T }，w2:{ (0, -2)T，(-1,-1)T}
用感知器固定增量算法求解向量a（a（0）= (0,2 )T），画出决策面H。

分析：
对a求导后等于y，所以不满足时a更新规则加上不满足点的y。
解：先将样本规范化，令： ，
令四个规范化后的样本分别为：y1=(1,0)T，y2=(-2, 1)T，y3=(0, 2)T，y4=(1,1)T。
令a0= (0,2)T，错分类的样本为y1，
a1= (0,2)T +(1,0)T =(1,2)T，错分类的样本为y2，
a2= (1,2)T +(-2, 1)T =(-1, 3)T，错分类的样本为y1，
a3= (-1, 3)T +(1,0)T =(0, 3)T，错分类的样本为y1，
a4= (0, 3)T +(1,0)T =(1, 3)T，无错分类样本，为所求解向量。
决策面H为垂直解向量a4的直线。

知识点4：近邻法-距离法

试将以下样本数据集用近邻法进行分类，画出决策面。第一类样本：(0,1)T，(1,0)T 第二类样本：(0,0)T，(-1,0)T

知识点5：PCA

已知有两个数据集，分别为
w1：  (1,0,1), (1,1,1)  w2：  (0,1,1), (1,1,0)
试按判据 将特征空间降为==一维==，求其坐标轴u1（新的基向量）；

补充点 新的坐标轴，基向量是基于协方差矩阵分解得到的。

知识点6 ：人工神经网络

二维特征空间被三条直线划分为7个部分，两类样本的分布如图1所示，神经元采用阈值函数 ，试设计多层神经网络将两类样本分开。

映射到高维：即可线性可分

y1：x1+ 2x2=1
y2：x1 =2
y3：x2=1
y：y3-y2=0.5

解：经过三个线性分类器映射后7个区域对应立方体的八个顶点，第一类映射后的样本：（1，0，1），将第二类映射为：（1，0，0），（1，1，1），对应立方体的三个顶点，设计一个平面 可将两类分开。

基本概念：

1.1 特征:用来决策事物类别的特点、属性，样本的测量值；
特征向量: 特征空间:特征向量可能取值范围的全体。
1.2 样本:元素,具体事物
模式:子集,事物所属的类别，代表这些事物的“概念”
模式类:就是模式。
统计模式识别：让机器/计算机实现事物的（自动）分类，从具体事物辨别出它的概念。
1.3 训练集：是一个已知样本集，在监督学习方法中，用它来设计模式分类器。
测试集：在设计识别和分类系统时没有用过的独立样本集。
1.4 分类器：函数，根据样本的特征向量决定样本属于哪一个类别。
判别函数：分类或表达决策规则的计算式；判别函数是常用的表示模式分类器的方法之一。
决策面：划分决策域的边界面，决策面方程的解；
决策域：样本分布的区域（自己理解的）
1.5 Bayes决策
根据先验概率、类条件概率密度函数以及后验概率这些量来实现分类决策的方法

1.6 Fisher判别:向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。
感知器:是一个具有单层计算单元的人工神经网络,在对样本分类训练过程中逐步修正直至最终确定。
1.7 线性分类器: 判别函数为线性函数，或者决策面为超平面的分类器。
1.8 准则函数: 用以评价投影方向w的函数（不确定）
1.9 内积和外积
内积：如果有两个向量?️(x1,x2,…,xn)，b:(y1,y2,…,yn)，那么a和b的内积为: x1y1+x2y2+…+Xn*Yn。即两个向量对应项相乘、再求和，内积为标量。
外积：符号表示:a× b，大小为:|a|•|b|•sin<a,b>。外积为向量，方向垂直于向量a,b
1.10 优化算法（梯度下降算法，Lagrange乘子法）
梯度下降法是一个最优化算法，用于求解无约束优化问题。每走一步，求解当前位置的梯度，沿着梯度的负方向（也就是当前最陡峭的位置）向下走一步，然后继续求解当前位置梯度。越接近目标值，步长越小，前进越慢。
基本的拉格朗日乘子法就是求目标函数在约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联立，从而求出使原函数取得极值的各个变量的解。
1.11 特征提取与选择
特征提取：将原始特征转换为一组具有明显物理意义或者统计意义或核的特征；特征选择：从特征集合中挑选一组最具统计意义的特征，达到降维
1.12 K-L变换
K-L变换也常称为主成分变换(PCA)，是一种基于图像统计特性的变换，它的协方差矩阵除对角线以外的元素都是零(所以大家也叫它最佳变换)，消除了数据之间的相关性，从而在信息压缩方面起着重要作用。K-L变换的目的是寻找任意统计分布的数据集合主要分量的子集。基向量满足相互正交性。使得原始数据集合变换到主分量空间，使单一数据样本的互相关性降低到最低点。
1.13 监督和非监督学习
监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。
非监督学习：若所给的数据样本不带有类别信息,就是无监督学习。
1.14 多层感知器
多层感知器是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。多层感知器至少包括一个隐藏层，可以学习非线性函数。
1.15 人工神经网络
人工神经网络简称神经网络，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
1.16 支持向量机
支持向量机是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。