模式识别期末复习【湘潭大学】

写在前面的话

整理大量考试资料，通过汇总，分类，理解，才有这篇博客，制作不易~

祝愿大家过过过！考得比我高！

问题

看看下面这些问题你能否答出来？

简答题

1. K-means 算法的步骤？如何确定 K 的值？
2. 什么是模式识别？模式识别有什么意义？
3. 模式识别预处理内容？
4. 最大似然估计？贝叶斯估计？最大似然估计与贝叶斯估计的差别？
5. 简述 SVM 的基本思想？SVM？
6. 神经网络初始化神经网络训练时是否可以把所有的参数初始化为 0？为什么？
7. Sigmoid 优缺点？
8. K 近邻（KNN）？
9. 2010年后使得深度神经网络得到快速应用的技术突破有哪些？
10. 隐马尔可夫主要解决哪几个问题？
11. 什么叫特征提取？广义上的特征提取器如何表达?
12. 分类决策？分类决策的基本方法如何?
13. 最小风险贝叶斯决策步骤如何?
14. 广义上的模式定义？什么是模式识别？模式识别有什么意义？
15. 模式数据类型？
16. 类内类间距离？
17. 二值分类如何实现多类分类？
18. 贝叶斯决策方法？
19. 简述如何采用仅能处理二值分类问题的算法，如Logistic回归，SVM等来处理多分类。
20. PCA是什么？主要做什么？

计算题

1. 

机器学习系列(1)_逻辑回归初步

2. 3层神经网络，会决策边界，写出每层之间的隐层的函数的输入和输出。（神经网络的推导过程，卷积神经网络）

3. PCA算法实现。

4. 

5. 

6. 

7. 

8. 

9. 

选择题

1. Logistic回归（占3题）：召回率、精度等
2. 监督与非监督学习是什么（ logistic 回归 有三道）
3. 过拟合 欠拟合
   

答案

简答题答案

K-means 算法的步骤？如何确定 K 的值？

无监督聚类方法

基本步骤：

（1）从数据中选择 k 个对象作为初始聚类中心；

（2）将样本集按照最小距离原则分配到最邻近聚类；

（3）使用每个聚类的样本均值更新聚类中心；

（4）重复步骤（2）、（3），直到聚类中心不再发生变化；

（5）输出最终的聚类中心和 k 个簇划分；

K 如何确定：
K-means中K值的选取

首先采用手肘法或者轮廓系数法决定结果簇的数目，并找到一个初始聚类，然后用迭代重定位来改进该聚类。

什么是模式识别？模式识别有什么意义？

答案一：

定义：是通过计算机用数学技术方法来研究模式的自动处理和判读。是对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。

意义：人们为了掌握客观事物，按事物相似的程度组成类别。模式识别的作用和目的就在于面对某一具体事物时将其正确地归入某一类别。

模式识别预处理内容？

预处理是以去除噪声、加强有用的信息为目的, 并对输入测量仪器或其他因素所造成的退化现象进行复原的过程。

预处理一般有两种情况:

一是使数据的质量更好，比如用一些数字信号处理的方法去除信号中的噪声, 或者对一幅模糊的图像进行图像增强等, 确保有利于后期的模式识别工作；

另一种预处理是样本集的预处理, 比如样本集中异常值的剔除、类别的合并或分裂等。这一工作一般可以根据领域的专门知识进行, 也可以采用模式识别中的一些技术, 比如在进行后续工作之前先对样本集进行一次聚类分析。

最大似然估计？贝叶斯估计？最大似然估计与贝叶斯估计的差别？

最大似然估计：最大似然估计是一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

基于对似然函数 L(θ)形式(一般为连乘式且各因式>0)的考虑，求θ的最大似然估计的一般步骤如下：

(1)写出似然函数

(2)对似然函数两边取对数有

(3)求导数并令之为 0：

此方程为对数似然方程。解对数似然方程所得，即为未知参数的最大似然估计值。

贝叶斯估计：待估计参数θ是随机的，和一般随机变量没有本质区别，因此只能根据观测样本估计参数θ的分布。

贝叶斯估计利用了贝叶斯公式，给出贝叶斯公式的数学描述：

下面给出贝叶斯估计的数学描述：

其中， π(θ)为参数θ的先验分布，表示对参数θ的主观认识，是非样本信息， π(θ|x)为参数θ的后验分布。因此，贝叶斯估计可以看作是，在假定θ服从π(θ)的 先验分布前提下，根据样本信息去校正先验分布，得到后验分布π(θ|x)。由于后验分布是一个条件分布，通常我们取后验分布的期望作为参数的估计值。

区别：

第一，最大似然方法预测时使用θ的点估计，贝叶斯方法使用θ的全分布。即最大似然求出最可能的θ值，而贝叶斯则是求解θ的分布。

第二，贝叶斯推断还引入了先验，通过先验和似然来求解后验分布，而最大似然直接使用似然函数，通过最大化其来求解。

简述 SVM 的基本思想？SVM？

支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分类，分类的原理是间隔最大化，最终转化为一个凸二次规划问题来求解，由简至繁的模型包括：

当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；

当训练样本近似线性可分时，通过软间隔最大化，学习一个线性可分的支持向量机；

当训练样本线性不可分时，通过核函数和软间隔最大化，学习一个非线性支持向量机；

神经网络初始化神经网络训练时是否可以把所有的参数初始化为 0？为什么？

为什么神经网络参数不能全部初始化为全0？
不能，因为如果神经网络计算出来的输出值都一个样，那么反向传播算法计算出来的梯度值一样，并且参数更新值也一样。无论训练多少次，无论我们隐藏层神经元有多少个，由于权重的对称性，我们的隐层的神经单元输出始终不变， 出现隐藏神经元的对称性。我们希望不同神经元能够有不同的输出，这样的神经网络才有意义。

Sigmoid 优缺点？

面试题：简单说下sigmoid激活函数
激活函数sigmoid 、tanh、Relu、Leaky Relu 优缺点对比（最全）
优点：

（1）便于求导的平滑函数；

（2）能压缩数据，保证数据幅度不会有问题；

（3）适合用于前向传播。

缺点：

（1）容易出现梯度消失的现象：当激活函数接近饱和区时，变化太缓慢，导数接近 0，根据反向传递的数学依据是微积分求导的链式法则，当前导数需要之前各层导数的乘积，几个比较小的数相乘，导数结果很接近 0，从而无法完成深层网络的训练。

（2）Sigmoid 的输出不是 0 均值的：这会导致后层的神经元的输入是非 0 均值的信号，这会对梯度产生影响。以 f=sigmoid(wx+b)为例， 假设输入均为正数（或负数），那么对 w 的导数总是正数（或负数），这样在反向传播过程中 要么都往正方向更新，要么都往负方向更新，导致有一种捆绑效果，使得收敛缓慢。

（3）幂运算相对耗时。

K 近邻（KNN）？

答案一：

有监督分类学习算法

k-近邻：一个样本 X，要给它分类，即求出它的 y，其算法流程如下：

（1）为 K 选择一个值，K 应该是一个奇数；

（2）找到 X 的 K 个最近邻居；

（3）统计这 K 个数据点所属的分类与分类数量，若这 K 个数据点中，分类为 C 的数据点的数量最多，则将 X 分类为 C。

注：对于回归，X 的值将是 K 个邻居的均值。

答案二：

k-近邻(kNN，k-Nearest Neighbors)算法是一种基于实例的分类方法。该方法就是找出与未知样本x距离最近的k个训练样本，看这k个样本中多数属于哪一类，就把x归为那一类。k-近邻方法是一种懒惰学习方法，它存放样本，直到需要分类时才进行分类，如果样本集比较复杂，可能会导致很大的计算开销，因此无法应用到实时性很强的场合。

2010年后使得深度神经网络得到快速应用的技术突破有哪些？

技术突破：
（1）GPU

（2）ReLUs

（3）通过最小化重建误差进行预训练

（4）Dropout 正则化

（5）通过变形现有的样本以生成更多的训练样本

应用：

2015 年，被谷歌收购的 DeepMind 团队研发了一种“通用人工智能”算法， 它可以像人类一样，通过观察计算机游戏的屏幕进行自我学习，利用同一套网络 架构和超参数，从零开始学习每一款游戏，并最终打通了 300 多款雅达利游戏， 在某些游戏上的表现甚至超越了人类。

2016 年，谷歌的机器翻译技术取得重大突破，采用了先进的深度循环神经 网络和注意力机制的机器翻译在多种语言上已经基本接近人类的水平。

2016 年 3 月，DeepMind 团队又在博弈领域取得了重大突破。 AlphaGo 以 4∶1 的大比分战胜人类围棋冠军，让计算机围棋这一领域的发展提前了至少十 年。

2017 年 10 月，DeepMind 团队创造的 AlphaGo 升级版 AlphaGo Zero 再一 次取得了重大突破，它可以完全从零开始学习下围棋，而无须借鉴任何人类的下 棋经验。仅经过大约 3 天的训练，AlphaGo Zero 就达到了战胜李世石的棋力水 平；而到了 21 天以后，世界上已经没有任何人类或程序可以在围棋上战胜它了。 AlphaGo 的成功不仅标志着以深度学习技术为支撑的新一代人工智能技术的大 获全胜，更暗示着人工智能的全新时代已经到来。

隐马尔可夫主要解决哪几个问题？

如何用简单易懂的例子解释隐马尔可夫模型？
隐马尔可夫模型的三个基本问题（读书笔记）

什么叫特征提取？什么是特征选择？广义上的特征提取器如何表达?

特征提取：

原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本。此过程叫特征提取。

特征选择：

从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，此过程称特征选择。两种方法：（1）“自下而上”：特征数从0逐步增加。（2）“自上而下”：特征数从D开始逐步减少。

综合答案：

为了有效地实现分类识别, 就要对原始数据进行变换, 得到最能反映分类本质的特征。这就是特征提取和选择的过程。一般我们把原始数据组成的空间叫测量空间, 把分类识别赖以进行的空间叫特征空间, 通过变换, 可把在维数较高的测量空间中表示的模式变为在维数较低的特征空间中表示的模式。

原始特征的数量可能很大, 或者说样本是处于一个高维空间中, 通过映射( 或变换) 的方法可以用低维空间来表示样本, 这个过程叫特征提取。映射后的特征叫二次特征, 它们是原始特征的某种组合( 通常是线性组合) 。

所谓特征提取在广义上就是指一种变换。若Y 是测量空间, X 是特征空间, 则变换A: Y→X 就叫做特征提取器。通过变换把原始特征变换为较少的新特征, 这就是特征提取。

分类决策？分类决策的基本方法如何?

分类决策：

在特征空间中用统计方法把被识别对象归为某一类。

分类决策方法：

模版匹配法(templete matching)/统计方法(statistical pattern recognition)
神经网络方法(neural network)/结构方法(句法方法)(structural pattern recognition )

基本方法：

单一的分类方法主要包括：决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等；另外还有用于组合单一分类方法的集成学习算法，如Bagging和Boosting等。

综合答案：

分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。

基本做法是在样本训练集基础上确定某个判决规则, 使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。

最小风险贝叶斯决策步骤如何?

（1）进行预后验分析，决定是否值得搜集补充资料以及从补充资料可能得到的结果和如何决定最优对策。

（2）搜集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率。

（3）用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率，用贝叶斯定理计算后验概率。

（4）用后验概率进行决策分析。

广义上的模式定义？什么是模式识别？模式识别有什么意义？

(1) 存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是相似，都可以称之为模式。

模式数据类型？

（1）二维图像 如文字，指纹，地图，照片等。

（2）一维波形 如脑电图，心电图，机械振动波形等。

（3）物理参量和逻辑值 前者如在疾病诊断中病人的体温及各种化验数据等：后者如对某参量正常与否的判断对症状有无的描述，如疼与不疼，可用逻辑即0和1表示。

类内类间距离？

二值分类如何实现多类分类？

可采用SVM多类分类。SVM多类分类方法的实现根据其指导思想大致有两种：
（1）将多类问题分解为一系列SVM可直接求解的两类问题，基于这一系列SVM求解结果得出最终判别结果。
(2)通过对前面所述支持向量分类机中的原始最优化问题的适当改变，使得它能同时计算出所有多类分类决策函数，从而“一次性”地实现多类分类。
目前，构造SVM多类分类器的方法主要有两类：
一对多法（one-versus-rest,简称OVR SVMs）。训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。
a.分类时将未知样本分类为具有最大分类函数值的那类。
b.一对一法（one-versus-one,简称OVO SVMs或者pairwise）。其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。

贝叶斯决策方法？

简述如何采用仅能处理二值分类问题的算法，如Logistic回归，SVM等来处理多分类。

SVM处理多分类：可以通过组合多个二分类器来实现多分类器的构造
one-versus-rest：训练时一次把某个类别的样本归为一类，其他剩余的样本归为另一类，
这样k个类别的样本就构造出了k个SVM，分类时将未知样本分类为具有最大分类函数值的那类。
假如我有四类要划分（也就是4个Label），他们是A、B、C、D，于是我再抽取训练集
的时候，分别抽取：
（1）A所对应的向量作为正集，B、C、D所对应的向量作为负集；
（2）B所对应的向量作为正集，A、C、D所对应的向量作为负集；
（3）C所对应的向量最为正集，A、B、D所对应的向量作为负集；
（4）D所对应的向量作为正集，A、B、C所对应的向量作为负集；
使用这四个训练集分别进行训练，然后得到四个训练结果文件，在测试的时候，把对应
的测试向量分别利用这四个训练结果文件进行测试，最后每个测试都有一个结果f1(x)，f2(x)，f2(x)，f4(x)，于是最终的结果便是这四个值中最大的一个作为分类结果。
但是这种方法的缺陷在于：因为训练集是1：M，这种情况下存在biased，因而不是很
实用个，可以在抽取数据集的时候，从完整的负集中再抽取三分之一作为训练负集。
one-versus-one：其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就
需要设计k（k-1）/2个SVM。当读一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别，Libsvm中的多类分类就是根据这个方法实现的。
假设有A、B、C、D四类，在训练的时候选择A,B；A,C；A,D；B,C；B,D；C,D所对应的
向量最为训练集，然后得到六个训练结果，在测试的时候，把对应的向量分别对六个结果进行测试，然后才去投票形式，最后得到一组结果。投票过程如下：
A=B=C=D=0;
(A,B)-classifier，如果是A win，则A=A+1；otherwise，B=B+1；
(A,C)-classifier，如果是A win，则A=A+1；otherwise，C=C+1；
……
(C,D)-classifier，如果是C win，则C=C+1；otherwise，D=D+1；
The decision is the Max(A,B,C,D)
使用这种方法时，当类别很多时，model的个数是n*(n-1)/2，其代价会随之增大

PCA是什么？主要做什么？

主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法。
主成分分析（PCA）的原理就是将一个高维向量x,通过一个特殊的特征向量矩阵U，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。也就是说，通过低维表征的向量和特征向量矩阵，可以基本重构出所对应的原始高维向量。
降维的目的：
1.减少预测变量的个数
2.确保这些变量是相互独立的
3.提供一个框架来解释结果

计算题

决策边界计算问题

机器学习之正则化（Regularization）
机器学习系列(1)_逻辑回归初步

神经网络推导

3层神经网络，会决策边界，写出每层之间的隐层的函数的输入和输出。（神经网络的推导过程，卷积神经网络）
TENSORFLOW基础（四）–**函数（SIGMOID、TANH）；损失函数（二次代价函数、交叉熵代价函数、对数释然代价函数）
二次代价函数和交叉熵代价函数
详解神经网络的前向传播和反向传播（从头推导）
线性回归中代价函数除以2m

PCA 算法实例

PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。

线性代数：如何求特征值和特征向量？
PCA的数学原理

细胞问题0

设计问题

细胞问题1

细胞问题2

拿球问题1

拿球问题2

选择题

什么叫监督学习与非监督学习

监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。无监督学习（也有人叫非监督学习，反正都差不多）则是另一种研究的比较多的学习方法，它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。

监督式学习（英语：Supervised learning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（函数/学习模型），并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

非监督式学习是一种机器学习的方式，并不需要人力来输入标签。它是监督式学习和强化学习等策略之外的一种选择。在监督式学习中，典型的任务是分类和回归分析，且需要使用到人工预先准备好的范例（base）。一个常见的非监督式学习是数据聚类。在人工神经网络中，自组织映射（SOM）和适应性共振理论（ART）则是最常用的非监督式学习。

（监督学习方法必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律；而非监督学习只有一组数据，在该组数据集内寻找规律）

Logistic回归（占3题）：召回率、精度等

首先，引入一个概念，非对称性分类。考虑癌症预测问题，y=1 代表癌症，y=0 代表没有癌症，对于一个数据集，我们建立logistic 回归模型，经过以上建模的步骤，得到一个优化的模型，错误率仅为1%，这貌似是一个很好的结果，但考虑数据集若仅有0.05%的正例（y=1），那么我们直接预测所有y=0，我们得到的模型的错误率仅为0.5%，这便是非对称分类的问题，这样的问题仅考虑错误率是有风险的。

下面引入一种标准的衡量方法：Precision/Recall(精确度和召回率)，这种度量最早出现在信息检索问题中的，如下：

在机器学习的模型中，也可以用这种评估方法，具体如下:

其中：
True Positive （真正例, TP）被模型预测为正的正样本；可以称作判断为真的正确率
True Negative（真负例 , TN）被模型预测为负的负样本 ；可以称作判断为假的正确率
False Positive （假正例, FP）被模型预测为正的负样本；可以称作误报率
False Negative（假负例 , FN）被模型预测为负的正样本；可以称作漏报率

神经元问题

过拟合 欠拟合

明显的未充分利用数据，拟合结果不符合预期，甚至不能有效拟合训练集，我们可以认为欠拟合
考虑过多，超出自变量的一般含义维度，过多考虑噪声，会造成过拟合
可以认为预测准确率、召回率都比理论上最佳拟合函数低很多，则为欠拟合
训练集预测效果好，测试集预测效果差，则为过拟合
欠拟合的原因：模型复杂度过低，不能很好的拟合所有的数据，训练误差大；
避免欠拟合：增加模型复杂度，如采用高阶模型（预测）或者引入更多特征（分类）等。
过拟合的原因：模型复杂度过高，训练数据过少，训练误差小，测试误差大；
避免过拟合：降低模型复杂度，如加上正则惩罚项，如L1，L2，增加训练数据等。

主成分分析PCA

降维

降维的目的：

1.减少预测变量的个数

2.确保这些变量是相互独立的

3.提供一个框架来解释结果

主成分分析（PCA）原理详解

注：第3题的C选项是正确的，因为当数据维度增加，即特征增加会使得决策面更拟合当前数据，也就是在训练集上表现的很好，但是在测试集中表现得反而不好，这种现象称为过拟合。B选项引入正则项是为了削弱模型在训练集上的表现，经过正则化处理过的模型往往在测试集上表现得更好。但是题目说的前提是在训练集上的表现，所以C是正确的，但是众多资料显示选B，大家自行斟酌。