机器学习基础 - [第四章：正则化]（3）线性回归的正则化

1、正则化的线性回归

线性回归模型的代价函数$J(\theta )$一般采用均方误差，即：
$$\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2]$$
而正则化的线性回归就是在线性回归的代价函数中加入正则项，所以其代价函数$J(\theta )$变为：
$$\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\sum _{j=1}^n{\theta }_j^2]$$
当代价函数发生改变时，其最优参数的求解会发生什么样的改变呢？我们知道线性规划模型求解最优参数有两种方法，一种是梯度下降，另一种是正规方程法，接下来我们看看这两种方法的改变。

2、梯度下降法求解正则化的线性回归

未正则化的线性回归模型的梯度下降法的参数更新的公式：
θ 0