机器学习（周志华）——学前基本概念总结

基本概念

大前提：模型可以分为模型结构和模型参数

《机器学习》这本书中很多时候讲到的是在一个确定的模型结构中，训练集的变化引起的模型变化是指的模型参数变化，如二次多项式是一个模型结构，训练集的变化会引起二次多项式的系数发生变化。

1、机器学习的概念是什么？机器学习学的是什么？

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习研究的是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。个人理解：机器学习研究的对象是算法，而该算法可以利用数据产生模型，该模型可以对新来的数据做出预判。

2、什么叫做泛化能力？我们可以通过哪些途径增强我们训练出的模型的泛化能力？

该处的泛化能力是指的模型结构的泛化能力，即不同类型的模型的泛化能力

• 泛化能力
  “泛化”的意思是由具体的、个别的扩大为一般的。那么在机器学习中，学得的模型适用于新样本的能力，称之为“ 泛化”能力。即，一个泛化能力很强的模型，不仅在训练样本上工作的好，在新样本上也工作的很好。

• 提升泛化能力
  a. 样本数越多，最终得到的模型的泛化能力也越强;
  b. 样本分布性越好，得出来的模型的泛化能力也就越强

3、假设空间与版本空间的区别与联系是什么？

科学推理的两大基本手段：
归纳：从具体的事实归结出一般性规律；
演绎：从一般到特殊的“特化”过程，即从基础原理推演出具体状况。
在机器学习中，从样例中学习，显然是一个归纳的过程。

可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设，即能够将训练集中的结论判断正确的假设。假设的表示一旦确定，假设空间及其规模大小就确定了。（假设空间的概念可以理解为：所有与结论有关的属性的所有取值情况组成的集合。）现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称之为“版本空间”。

版本空间是假设空间的一个子集，版本空间的集合属于假设空间的集合。两者是被包含与包含关系。

4、归纳偏好的概念以及它的作用是什么？

在对新样本进行判断的时候，不同的假设/模型得到的结果很可能的不一致的，为了保证学得的模型的稳定性，选择哪个模型/假设成为了一个关键性问题。
概念：机器学习算法在学习过程中对某种类型假设（模型）的偏好，称之为“归纳偏好”，简称为“偏好”。
作用：学习算法本身的“偏好”在模型生成的过程中对于保证模型的稳定性具有极其重要的作用。

5、什么是过拟合、欠拟合？如何避免这些情况？

开始回答本问题之前先阐明几个关键性概念：
错误率：把分类错误的样本数（m）占样本总数（n）的比例 → E = m/n；
精 度：精度=1 - 错误率 = (n-m)/n；
误 差：学习器的预测输出与样本的真实输出之间的差异；
训练误差 or 经验误差：学习器在训练集上的误差；
泛化误差：学习器在新样本上的误差。
我们的训练学习器的目的在于得到泛化误差小的学习器即在新样本上表现很好的学习器，但是往往我们只能通过训练使得经验误差最小化。
: 过拟合：为了得到泛化误差小的学习器，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，才能在遇到新样本时做出正确的判别。但是，当学习器把训练样本学得“太好”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称之为“过拟合”。
: 欠拟合：指的是对训练样本的一般性质尚未学好。
: 过拟合可以理解为：矫枉过正；欠拟合可以理解为：盲人摸象。

有多种因素可能导致过拟合，其中最常见的情况就是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了。
而欠拟合则通常是由于学习能力低下造成的。欠拟合尚有办法克服，但过拟合则非常麻烦。并且，过拟合是无法避免的，我们所能做的只是“缓解”，或者说减小其风险。

注：后续如果写了如何处理过拟合、欠拟合等方法，将在此补充或者附链接

6、什么是交叉验证？什么时候要使用交叉验证？

交叉验证是对模型结构进行评估的方法之一，其余还有留出法、自助法等。
为了更好的理解该部分，概念模式开启：
训练集：顾名思义，就是用来训练模型的一个数据集。
测试集：测试模型（学习器）对新样本的判别能力。

起因：在训练样本很有限的情况下，即一个包含M个样例的数据集 D = {(x1, y1), (x2, y2), …, (xn, yn)}，既要训练又要测试，因此我们需要对数据集 D 进行适当的处理，从中产生训练集 S 和测试集 T 。通过对不同模型结构的测试，我们希望能得到泛化性能比较强的模型结构，在确定模型结构的前提下，再利用数据集对模型参数进行训练。

交叉验证法：先将数据集 D 划分为 k 个大小相似的互斥子集，即子集的并集为 D , 子集的交集为空集，每个子集通过分层采样得到的，以保证数据的分布性一致。然后每次用 k-1 个子集的并集作为训练集，剩余的作测试集。从而可进行 k 次训练，返回的是 k 个测试结果的均值。 （k折）, 在交叉验证法的概念中，还有一个 （p次），即用相同的划分方式对样本划分 p 次。一个交叉验证会进行 p*k 次试验。

7、如何评价模型性能？常用的性能指标有哪些？

对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有 衡量模型泛化能力的评价标准 ，称之为性能度量(performance measure)。

性能度量反映的是任务的需求，对比不同模型的能力时，使用不同的性能度量往往会导致不同的评估结果。

回归任务最常用的性能度量是“均方误差”：
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2.$$

更一般地，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(x)$
$$E(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathfrak{D}}(f(\mathbf{x})-y{)}^{2}p(\mathbf{x})dx.$$
分类任务中的性能度量：
错误率和精度（适用于二分类与多分类）
错 误 率 ： E ( f ; D ) = 1 m ∑ i = 1 m I ( f ( x i ) ≠ y i ) 2 精 度 ： a c c ( f ; D ) = 1 m ∑ i = 1 m I ( f ( x i ) = y i ) 2 = 1 −