保研考研面试—机器学习

上岸某中流985，下面是我总结的机器学习重要的以及比较难的知识点，以理解性（背诵）的题目为主，有错误的话感谢提出来哟：
💯 表示偏难的知识点，可以结合机器学习课本周志华的理解一下

基本概念：

超平面：

n维欧式空间中的n-1维线性子空间

解释一下ROC曲线与PR曲线

ROC真正率和假正率

PR精准率与召回率

如果一个学习器的PR曲线包住了另一个，则

可以认为A的性能优于C

定义一下prediction精准率、recall召回率

!、

​

	正例	反例
正例	TP（真正例）	FN（假负例）
反例	FP（假正例）	TN（真负例）

精确率：P = TP/(TP+FP)表示预测成正例的样本有多少猜对了。

召回率：R =TP/(TP+FN)表示正例样本有多少被找回

举个例子解释：商家生产了一批货物出现问题，已经投入市场，可以根据一些特征判断是否出现问题，出现则找回

精确率：找回的样本中实际出问题的样本

召回率：找回出问题的样本占总出问题样本多少

真正利率 = 召回率

假正利率：FP/(FP+TN)

什么是F1数，怎么使用它

F1数是衡量模型性能的一个指标。它是模型精准率和召回率的加权平均，1表示最好，0表示最差。在分类问题中有时精准率和召回率不会同时都高，那么我们可以使用F1数。

$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{\text{ 样例总数 }+TP-TN}$$

傅立叶变换？

傅立叶变换指：一个满足某些条件的函数可以表示成三角函数或他们的积分形式的线性组合。

什么是深度学习，它与机器学习算法之间有什么联系？

机器学习：使用算法去解析数据，从中学习数据内部分布规律或者数据与数据、数据与标签之间的联系与差异，对新数据进行决定与预测。

深度学习：机器学习的一个子领域，它关心的是参照神经学科的理论构建神经网络，使用反向传播对大量未标注或半结构化的数据进行建模。

生成模型与判别模型有什么区别

生成模型会学习数据的分布；判别模型学习的是不同类型数据之间的区别，不学习数据内部特点。在分类问题上，判别模型会优于生成模型。
判别模型求解的思路是：条件分布------>模型参数后验概率最大------->（似然函数\cdot 参数先验）最大------->最大似然
生成模型的求解思路是：联合分布------->求解类别先验概率和类别条件概率
常见的生成方法有混合高斯模型、朴素贝叶斯法和隐形马尔科夫模型等，常见的判别方法有SVM、LR等

交叉检验如何用在时间序列数据上

与标准的k-folds 交叉检验不同，数据不是随机分布的，而是具有时序性的。如果模式出现在后期，模型仍然需要选择先前时间的数据，尽管前期对模式无影响。我们可以如下这么做：
fold1：training[1], test[2]；
fold2：training[1 2], test[3]；
fold3：training[1 2 3], test[4]；
fold4：training[1 2 3 4], test[5]；
fold5：training[1 2 3 4 5], test[6]；

过拟合与欠拟合：

过拟合：具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。
过拟合的原因：
训练数据中噪音干扰过大，使得学习器认为部分噪音是特征从而扰乱学习规则。
建模样本选取有误，例如训练数据太少，抽样方法错误，样本label错误等，导致样本不能代表整体。
模型不合理，或假设成立的条件与实际不符。
特征维度/参数太多，导致模型复杂度太高。
过拟合解决办法：
增加数据，降低模型复杂度，数据降维，dropout层，early stopping ,加正则化项

欠拟合：是指对训练样本的一般性质尚未学好。在训练集及测试集上的表现都不好。
欠拟合的原因
模型复杂度过低，特征量过少
解决办法：
增加特征数，增加模型复杂度，减少正则化系数

不平衡的数据集：处理方式

① 收集更多的数据较少的数据

② 随机过采样：少的一类复制多份

③ 随机欠采样：多的一类只抽取其中的一部分

④ 基于聚类的过采样：将某一类样本聚成几类

举个例子，说明使用集成学习会很有用。

你如何确保你的模型没有过拟合？

① 模型尽可能的简单

② 采用正则化技术

③ 采用交叉验证的手段

如何评估你的机器学习模型的有效性？

① 数据集分割的有效性，如何分训练集与测试集

② 性能指标

💯什么是核技巧，有什么用处？

https://blog.csdn.net/hellocsz/article/details/91904967

核函数：由于数据在低维空间线性不可分，映射到高维空间可以区分，核函数就是为了解决映射到高维空间计算量过大的问题，同时可以减轻噪音数据的干扰。

实质：特征向量内积的平方

常见的核函数：线性核、高斯核、拉普拉斯核

核技巧核心思想是：首先，通过某种非线性映射将原始数据嵌入到合适的高维特征空间；然后，利用通用的线性学习器在这个新的空间中分析和处理模式。

什么是增强学习，强化学习、多任务学习？

增强学习就是强化学习：外部环境对输出只给出评价信息而非正确信息。

现在大多数机器学习任务都是单任务学习。对于复杂的问题，也可以分解为简单且相互独立的子问题来单独解决，然后再合并结果，得到最初复杂问题的结果。但因为现实世界中很多问题不能分解为一个一个独立的子问题，各个子问题之间也是相互关联的，多任务学习就是为了解决这个问题而诞生的。把多个相关（related）的任务（task）放在一起学习。多个任务之间共享一些因素，它们可以在学习过程中，共享它们所学到的信息，相关联的多任务学习比单任务学习能去的更好的泛化（generalization）效果。

https://zhuanlan.zhihu.com/p/348873723

集成学习：

集成学习通过将多个弱分类器集成在一起，使它们共同完成学习任务，构建一个强分类器

理解举例：

https://blog.csdn.net/blank_tj/article/details/82229322?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.essearch_pc_relevant

激活函数

相比sigmoid激活函数ReLU激活函数有什么优势？

（1） 防止梯度消失 （ sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0）

（2） ReLU的输出具有稀疏性；

（3） ReLU函数简单计算速度快

注意力机制在深度学习中的作用是什么？有哪些场景会使用？

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标是从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。目前在神经机器翻译(Neural Machine Translation)、图像理解（Image caption）等场景都有广泛应用。

对于多分类问题，为什么神经网络一般使用交叉熵而不用欧氏距离损失？

交叉熵在一般情况下更容易收敛到一个更好的解。

什么样的函数可以用作激活函数？

非线性，几乎处处可到，单调

机器学习算法

CNN

池化层的作用：

减小图像尺寸即数据降维，缓解过拟合，保持一定程度的旋转和平移不变性。

Dropout的作用：

防止过拟合。每次训练，都对每个神经网络单元，按一定概率临时丢弃。

空洞卷积的作用是什么？

扩张卷积，在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射（feature map）的大小保持不变。一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，但参数数量仅为9个。

1x1卷积有什么用途？

通道降维或者升维，保证卷积神经网络可以接受任何尺寸的输入数据

保留了图片的原有平面结构，调控depth，从而完成升维或降维的功能。

如果使用1x1的卷积核，这个操作实现的就是多个feature map的线性组合，可以实现feature map在通道个数上的变化。从而增加非线性

为什么现在倾向于用小尺寸的卷积核？

用多个小卷积核串联可以有大卷积核同样的能力，而且参数更少，另外有更多次的激活函数作用，增强非线性。

解释反卷积的原理和用途

反卷积即转置卷积，正向传播时乘以卷积核的转置矩阵，反向传播时乘以卷积核矩阵

由卷积输出结果近似重构输入数据，上采样

反卷积也称为转置卷积，如果用矩阵乘法实现卷积操作，将卷积核平铺为矩阵，则**转置卷积在正向计算时左乘这个矩阵的转置 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cbgcsQiT-1643367003784)(https://www.zhihu.com/equation?tex=W%5E%7BT%7D)] ，在反向传播时左乘W，与卷积操作刚好相反，**需要注意的是，反卷积不是卷积的逆运算。

反卷积有哪些用途？

实现上采样；近似重构输入图像，卷积层可视化

梯度下降算法：

批量梯度下降：

$${\theta }_j^{\prime }={\theta }_j+\frac{1}{m}\sum _{i=1}^m\left(y^i-h_{\theta }\left(x^i\right)\right)$$