机器学习笔记8——ERM

前言：在之前几章中我们已经了解到了很多算法，也知道了在人工智能领域中最强大的机器学习的工具。接下来需要理论结合实际将算法应用到实际问题中。这一笔记我们开始讲学习理论，了解理论知识。

下面开始介绍的第一个学习理论是偏差-方差权衡。

当我们讲线性回归时，我们讨论过一个问题：是使用简单的线性假设$y={\theta }_0+{\theta }_{1}x$来拟合数据还是用更复杂一点的假设$y={\theta }_0+{\theta }_{1}x+...+{\theta }_5{x}^5$来拟合数据呢？

从最右侧的图中可以看到，用五次多项式来拟合数据并不是一个好的模型。尤其是，即使五次多项式对训练样本做出了很好的预测，但我们把并不期待在不基于原有训练集的基础上该假设会有一个良好的预测效果。换句话说，该假设从训练集中习得的结果对其他训练样本并不具有良好的普适性。

这一假设的泛化误差是预期误差，但不必在训练集中存在。

在上述最左侧和最右侧的图都有泛化误差。然而，两种模型出现的问题不同。如果输入特征与输出变量的关系不是线性的，那么即使我们用线性模型去拟合大量的数据集，线性模型仍然不会成功捕获到数据中的结构。

因此，对于上述的问题，线性模型存在较大的偏差，也就是对数据的欠拟合。

除了偏差，泛化误差还有第二个部分，在模型拟合过程中的方差。尤其是当我们最右侧图中的五次多项式，在数据拟合过程中会存在很大的风险。因为在数据集中会偶然得到比平均房价高的数据样本，也会有比平均房价低的数据样本。为了拟合数据集中这些“有欺骗性”的模式，可能会再次出现较大的泛化误差。在这一过拟合过程中，模型有较大的方差。

而对于偏差与方差我们会找到一种折中的方案（平衡）。如果我们的模型太过简单有很少的参数，那么这个模型可能会有较大的偏差（较小的方差）；相反如果模型太过复杂有很多的参数，那么这个模型可能会有较大的方差（但是较小的误差）。

在上述的问题中，用二次函数来拟合数据比前两者要好很多。

接下来我们将要更深入的理解过拟合与欠拟合，或者说高偏差与高方差。之后将会提出一个更为正式的机器学习模型，并且尝试证明这两个问题何时会出现。

---

首先考虑线性分类$h_{\theta }(x)=g({\theta }^{T}x)$， g ( z ) = 1 { z ≥ 0 } g(z) = 1\{z \geq 0\} g(z)=1{ z≥0}，其中 y ∈ { 0 ， 1 } y \in \{0，1\} y∈{ 0，1}。我们可以将这个模型看作逻辑回归（该模型与逻辑回归非常相似，不同的一点是强制让逻辑回归输出0和1作为类标签）。

所以现在给定一组训练集， S = { ( x ( i ) , y ( i ) ) ; i = 1 , . . . , m } S =\{(x^{(i)},y^{(i)});i = 1,...,m\} S={ (x(i),y(i));i=1,...,m}，其中包含m个训练样本。假设每个样本之间是独立同分布的，并且服从某个分布$D$。

为了理解偏差和方差，我们将会使用一个简化的机器学习模型（特别说一下，逻辑回归通过对数似然性来拟合参数）。但为了更深入的理解机器学习算法，我们要定义一个简化版的机器学习的模型。

首先定义一个训练误差/风险：

上述公式的含义很明确：被假设错误分类的训练样本之和/总训练样本数 = 被假设错误分类的训练样本所占比例。

我们将要讲的简化版的机器学习模型被称作ERM（经验风险最小化）。

学习算法的目的是选择参数使得训练误差最小化。我们认为ERM算法是最基础的学习算法。（像逻辑回归也可以看作是ERM的近似算法）

对于上述ERM的目的，与其看作是选择参数来使训练误差最小，不如可以等价看作选择一个函数。所以，接下来我们定义一个假设类 H H