模式识别相关问题

---

所谓模式识别的问题就是用计算的方法根据样本的特征将样本划分到一定的类别中去。模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读，把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程，其过程的一个重要形式是生命体对环境及客体的识别。模式识别以图像处理与计算机视觉、语音语言信息处理、脑网络组、类脑智能等为主要研究方向，研究人类模式识别的机理以及有效的计算方法。

---

一、名词解释

1、泛化能力

答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。

2、有监督学习

答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。

3、过拟和

答：在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC维太大，所以期望风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。典型的过学习是多层前向网络的BP算法

二、问答题

1. 感知器神经网络存在的主要缺陷是什么？

答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；
2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量；
3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。

2.BP算法的基本思想是什么，它存在哪些不足之处？

答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。

1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层

注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）

2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层 其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
虽然BP算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在于它的训练过程的不确定上。具体说明如下：

1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。

3）隐节点的选取缺乏理论支持；

4）训练时学习新样本有遗忘旧样本趋势

3.BP算法的缺陷及改进方案

缺陷：
①易形成局部极小而得不到全局最优；
②训练次数多，使得学习效率低，收敛速度慢；
③隐节点的选取缺乏理论指导；
④训练时学习新样本有遗忘旧样本的趋势。
改进方案：
1增加动量项
2自适应调节学习率
3引入陡度因子

4.人脑信息传递过程：

5.支持向量机的基本思想/方法是什么？

答：支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于非线性可分模式分类问题，根据Cover定理：将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。