吴恩达机器学习笔记5——线性回归加入正则项

一、 梯度下降法进行线性回归时加入正则项

（1）之前没有加正则项时，用梯度下降法：（α后面是对假设函数J（θ）求导后得到的式子）

接下来因为添加正则项的时候没有考虑θ₀，所以单独把它写出来：

（2）添加正则项后求解

【注意】这个正则项添加本来是λ θ² ，因为梯度下降的更新θ的式子都是求导之后的，因此得到下面的：

下面将这个式子整理一下以便于理解：

对于这个式子的理解：

分为两部分，前面粉色框框的部分其实是对θ做了个缩小，几乎就是0.99的缩小（也不一定），后面这一项跟没有正则化之前是一样的。
所以说，当进行正则化线性回归时，每次迭代时，把参数缩小一点，然后做和之前一样的更新操作

梯度下降只是进行拟合线性回归时的一种算法。另一种算法是正规方程。

二、正规方程进行线性回归时加入正则项

（1）没有正则化时求解θ：

【注】θ求解是： 对于每个θ求解偏导，然后让其等于0，求得的θ值。

（2）加入正则化后求解

正则化还可以使得X^TX可逆。（加上λ[]后一定是可逆的）