机器学习R简答-TYUT

老师说的内容也不多，有遗漏欢迎补充。

第一章

1.什么是机器学习？

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。

2.什么是版本空间？

  与训练集一致的假设集合，称为版本空间。

第二章

1.什么是过拟合和欠拟合？过拟合是由什么导致的？如何缓解过拟合？

过拟合：模型过于复杂，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降。

欠拟合：模型过于简单，没有很好地捕捉到训练样本中数据特征，不能很好地拟合数据。

造成过拟合的原因：

1. 模型过于复杂
2. 训练数据集样本单一或样本不足
3. 数据噪声太大或干扰信息太多
4. 训练迭代次数太多，对数据反复训练会让模型学到偶然的特征。

如何缓解过拟合？

1. 采用合适的模型，控制模型复杂度
2. 使用不同分布的数据训练。如数据增强，预训练。
3. 使用图像裁剪方法对图像进行预处理
4. 降低特征的数量
5. L1、L2正则化，降低模型复杂度

2.什么是调参？

许多学习算法都有些参数，参数配置不同，学得模型的性能会有显著差异。进行模型评估和选择时，除了要对适用学习算法进行选择，还需要对算法的参数进行设定，这就是调参。

3.ROC曲线与P-R曲线的区别

P-R曲线对于各类别之间样本分布比例比较敏感，因为查准率同时和真值正负的样本都相关。

ROC曲线对于各类别之间样本分布比例不敏感，因为FPR和TPR各自只跟真值为负或真值为正的样本相关。

第三章

1.哑变量化的优点好处有哪些？

一是解决了模型不好处理特征数据的问题;二是降低特征中包含的噪声，提升特征的表达能力。

2.线性判别分析的基本原理是？

LDA是一种经典的线性学习方法。基本原理是给定训练样例集，将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例投影点尽可能远离；对新样本进行分类时，将其投影到同样的这条直线上，根据投影点的位置确定新样本的类别。

3.再缩放有哪三种做法？过程是怎样的？

（1）直接对训练集里的反类样例进行的欠采样。即去除一些反例使正反例数目接近，然后进行学习

（2）直接对训练集里的正类样例进行的过采样。即增加一些正例使正反例数目接近，然后进行学习

（3）阈值移动：基于原始训练集进行学习，在用训练好的分类器进行预测时，将执行式嵌入决策过程中。

4.多分类学习 

多分类学习，本质上是用二分类学习器解决多分类问题。首先对问题进行拆分，拆出的每个二分类任务训练一个分类器，在对每个分类器的预测结果进行集成得出最终结果。

一对一OVO

拆分时将N个类别分为N（N-1）/2个二分类任务和二分类分类器，测试时在N（N-1）/2个结果中投票，最多的结果即为最终结果。

一对多OVR

拆分时一个类为正例，其余为反例。将N个类别分为N个二分类任务和二分类分类器，测试时在N个结果中比较置信度，最高的结果即为最终结果。

多对多MVM 

拆分时若干为正例，若干为反例。N个类别作M次划分，M个训练集和二分类器。类别划分由编码矩阵指定。常见的二元码：正类反类，三元码：正类反类停用类。通过矩阵计算海明距离欧氏距离，取最小作为结果。

第四章

1.剪枝处理的基本策略

剪枝是应对过拟合的主要手段。分为预剪枝和后剪枝，预剪枝提前结束决策树的增长，而后剪枝决策树生长完成后再进行剪枝。

第六章

1.软间隔支持向量机和硬间隔支持向量机的区别。

支持向量机形式上要求所有样本均满足约束，即所有样本都必须划分正确，这称为“硬间隔”，它适用于训练数据线性可分；而软间隔则是允许某些样本不满足约束，适用于训练数据近似线性可分。