编程实现体会一下正则化 对权重的影响:
不同alpha 下对应的权重:
等比数列 ,正态分布
#
from sklearn.datasets import make_regression
from sklearn.linear_model import Ridge #L2 正则化
import matplotlib.pyplot as plt
plt.rcParams["font.family"] = "serif" #切换成英文字体
#创建回归数据集:
X,y,w = make_regression(n_samples= 10 ,n_features= 10 ,coef= True ,random_state= 1 ,bias= 3.5 )
#n_samples :样本数 n_features:样本特征
# coef:是否返回权重,默认是False
# random_state 随机种子 表示数据集是否会变动, 0,1 都保持不变
#bias : 偏置项
alpha = np.logspace(-4,4,200) #10^-4 到 10^4 之间的 200数量的等比数列
#用来保存不同alpha 数值下的权重
coefs = []
#创造林回归对象
rig = Ridge()
for i in alpha:
#岭回归
#赋值不同的alpha
rig.set_params(alpha = i)
rig.fit(X,y)
#将权重添加到列表
coefs.append(rig.coef_)
#set 去修改参数
ax = plt.gca()
ax.plot(alpha,coefs)
ax.set_xscale('log')
ax.set_xlabel("alpha")
ax