从对最小二乘做线性回归的正则化，逐渐延伸至ElasticNet回归

要想理解ElasticNet回归，正则化是必须要首先知道的，其次是岭回归和Lasso回归，知道了这些，弹性网回归自然也就明白了。

所以我们从一个最小二乘做线性回归问题开始，逐渐推导出ElasticNet回归

一个问题：

我们都知道利用最小二乘法来做线性回归，即让损失函数达到最小值，可得到的最优的拟合参数（即θ ）。

但是如果我们用来拟合的特征变量过多，而且特征变量之前存在很高的相关关系，比如下面这种情况：

 

正则化

以上两个函数都可以很好的拟合数据，但右边的函数显然有过拟合的嫌疑，为了避免这种情况，有两种方法：

1、特征选择，舍掉x^3和x^4这两个变量（可以人工选择，也可以利用算法来做。但有些时候我们可能并不希望舍弃数据，一方面特征选择有一定的不确定性，另一方面这个过程是比较繁琐的，这种时候我们可以采用第二种方法来解决这一问题。）；

2、正则化，减小θ3和θ4的值（保留所有特征变量，但减少变量参数的值