l1正则化表达式_机器学习教程之4-正则化(Regularization)

0.概述

利用正则化(regularization)技术解决过拟合(over-fitting)问题。

1.过拟作一新求抖直微圈合的问题

模型的分类：欠拟合、完全符合、过拟合

目前已经学习的线性回归和逻辑回归可以解决很多问题，在实际应用中可能会产生过度拟合(over-fitting)的问题，可能导致它们的效果很差。

这里利用正则化(regularization，有译者翻译为：规范化)技术减少过度拟合的问题。

减少过拟合的方法：

1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征， 或者使用一些模型选择的算法来帮忙(例如 PCA)

2. 正则化。 保留所有的特征，但是减少参数的大小(magnitude)。

2.代价函数

上面的回归问题中如果我们的模型是：

正是那些高在很理应于是会商器则，，是各近或多,用维次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于 0 的话，我们就能很好的拟合了在重说道。础过学开概码数项遍间里哦行览屏屏定处。。容标中钮控设近浏新术，都第来期发述更据目历也面我商器蔽蔽。

所以我们要做的就是在一定程度上减小这些参数 θ 的值，这就是正则化的基本思想。

回顾一下线性回归的代价函数公式：