经验风险最小化与模型选择

经验风险最小化，是使得<<具有最小训练误差的假设的一般误差>>与<<具有最小一般误差的假设的一般误差>>之间的值尽量小。

这样才能使得我们根据训练数据训练得到的模型有普适性。

可以推导出来二者的差值存在一个上界，可以根据这个上界，得到

<<要达到某一精度至少需要多少训练数据>>或者<<特定数量的训练数据能以多大概率达到某一精度>>，进一步可知存在偏差方差平衡。

这个上界直观上理解，主要与模型的复杂度（如假设的个数、参数数量等）、训练样本数相关，

而且可以直观得得到这个上界与模型复杂度成正相关，与样本数成负相关。

这里关于模型复杂度的度量方法，可以用VC维的方式来表征，而这个上界最终可表示成VC维与样本数的一个关系。

关于Andrew Ng公开课第九讲的笔记整理可以参考博客：https://www.cnblogs.com/madrabbit/p/7095575.html

————————————————————————————————————————————————————

模型选择的目的在于防止欠拟合与过拟合。

如对文本分类，其维度会非常高，这时选择特征是非常重要的。

特征少了，容易欠拟合，特征多了（增加了很多无用特征）容易过拟合。关于特征选择主要的方法有：

1、启发式搜索。有前向与后向算法，前向算法开始设置一个空的特征集合，

然后从所有特征中用交叉验证的方法找到最优的一个特征（即只用一个特征作为输入），

将这个最佳特征添加到特征集中，然后从剩下的集合中依次挑选特征A，并将其与特征集中的所