tensorflow中的正则化函数在_线性回归中的正则化

今天的话题从线性回归开始，在应对线性回归问题的时候，实质上就是训练1个函数

，这个等式可以通过我之前的文章最小二乘法来计算，即

，但是由于最小二乘法需要计算矩阵的逆，所以有很多的限制，比如

矩阵不可逆，又或者矩阵中有 多重共线性的情况，会导致计算矩阵的逆的时候行列式接近0，对数据很敏感，还有可能在训练模型的时候有 过拟合的情况出现(如下图，第3个图的曲线精确的学习到了所有的数据点，显然就是过拟合了)，下面这里通过解决实际问题，一点一点推算出来解决这些问题的2种方法： L1 和 L2正则化。

L2正则化

思想：开篇提到过，最小二乘法有很多限制和很多弊端，比如 多重共线性这个问题，由于需要计算矩阵的逆，所以训练出的模型系数往往会比较大 (行列式接近0)，这样模型会很不稳定，所以大牛们就想啊，能不能给最小二乘法加上点 惩罚，让这个系数小一些，模型更稳定，泛化能力更好，于是就有了这个方法。

L2正则化即是在最小二乘法的基础上，加1个对系数的”惩罚项“，为了方便计算所以加上的是L2-norm的平方，这时候损失函数就为