斯坦福大学公开课机器学习课程（Andrew Ng）九经验风险最小化

课程概述：

1.偏差/方差（Bias/variance）

2.经验风险最小化（Empirical Risk Minization，ERM）

3.联合界引理与Hoeffding不等式

4.一致收敛（Uniform Convergence）

一、偏差/方差

  偏差与方差对应的仍然是过拟合与欠拟合的问题，本篇主要解决的问题就在于构建一个模型，对何时出现过拟合和欠拟合进行说明。
  关于过拟合与欠拟合的问题，前面已经讲过，这里在稍微说一下，如下图：

上图中，左图为欠拟合，即没有很好的拟合所有的数据，有很大的泛化误差，这种情况对应于高偏差；

中间的图为较好的拟合；

右图为过拟合，即对实验数据集合的太好，这样当换一组数据时就可能有较大的误差，即不具有一般性，这种情况对应于高方差。

简而言之，欠拟合对应了高偏差，过拟合对应高方差。

二、经验风险最小化（Experience Risk Minimization，ERM）

首先，我们定义数据集：

其中是i.i.d（独立同分布变量）。y ∈ {0,1}。

其次，分类模型为：

由定义可知，的输出只能为0 或者 1。

这个模型和logi