线性回归（七）—— 弹性网

弹性网（elastic net）

介绍

前面介绍了两种正则化方法来解决过拟合问题，分别是LASSO的L1正则化和Ridge的L2正则化。

其实惩罚函数有无数多个
$$\lambda \sum _{i=1}^m|{\theta }_i{|}^q$$
这里q取1就变成了LASSO，q取2就变成了Ridge。

当然q也可以取其他的值

后来有人把LASSO和Ridge结合了起来，把代价函数中的惩罚函数变成了这样
$$\lambda \sum _{i=1}^n(\alpha {\theta }_i^2+(1-\alpha )|{\theta }_i|)$$
这就是弹性网。

elastic net 的python代码

# encoding:utf-8
import numpy as np
from sklearn import linear_model

# 读入数据
data = np.genfromtxt("../data/longley.csv",delimiter=',')
x_data = data[1:,2:,]
y_data = data[1:,1]

# 创建模型
model = linear_model.ElasticNetCV()
model.fit(x_data,y_data)

# 打印弹性网系数
print("弹性网系数为 :{0}".format(model.alpha_))
print("真实值为：")
print(y_data)
print("弹性网预测值为：")
print(model.predict(x_data))