监督学习算法

lasso回归

1、控制过拟合；2、选择重要特征(降低维度)，不至于在优化的问题上走的太远。

长期来看，在某一个方向上求优求的过渡(经验风险最小化)，没有正则化，实际上带来更大的结构风险(我们追求结构风险最小化，模型的结构复杂，会带来高风险。)。


λ---> 超参，采用交叉验证(训练集+验证集)来调控λ。

λ在变化，然后每变化一次，做5折交叉验证，然后求平均正确率(5次的正确率求和除以5)，

然后在正确率高的得分中，选择方差比较的那一组对应的λ

注意

在真实的环境中，我们并不是把数据只打成训练和验证。我们还有一个叫测试集。这个测试集是我们预先保留一小块数据，这小块数据定死在这里，在做完交叉验证以后，我们把求出的λ，加上参数的值的模型，然后用测试集做一次测试，得到这个时候的准确率。我们把这个时候的准确率作为最终的准确率。

监督学习的终极目标：1、让训练误差足够的小(训练误差足够的大，会造成欠拟合)==优化，2、让训练和测试误差的差值足够的小(训练误差和测试误差的差值足够大的话，会造成过拟合)==正则。