正则化(经验风险最小化与结构风险最小化)

经验风险最小化，是根据定义的cost函数，来使训练集合的cost(损失)函数的整体最小，一般常见的的损失函数有一下：

当选定了损失函数以后，就可以确定经验风险函数：1/N * L(yi, f(xi)) ( i的范围是１到Ｎ的所有训练集做累加）；

所谓经验风险最小化就是确定模型的参数使得经验风险函数最小。

但是当训练集合很小而训练集合的元素特征又比较多的时候，单单使用经验风险最小化函数，会造成模型过拟合现象（过拟合就是训练出来的模型对训练集合的预测效果很好，但对新引入的数据预测效果很差。）

解决上面这种情况：有两种方法，１、减少特征，这样可以避免过拟合现象，但是会导致模型未能更多的利用有效信息。

２，正则化（结构风险最小化）。

也就是训练的目标改为使得结构风险函数最小：

Ｊ(f) 表示的是模型的复杂度，前面的是系数。一般Ｊ(f)是模型参数向量的１范数或者是２范数。

这样在原来的基础之上加入后面的限制之后，会使得在训练的过程中使得模型的参数总体尽可能变小，会使得模型避免过拟合现象。