关于L2正则化公式以及代码实现

最新推荐文章于 2023-12-31 01:33:04 发布

海滩上的那乌克丽丽

最新推荐文章于 2023-12-31 01:33:04 发布

阅读量3.5k

点赞数

分类专栏：机器学习正则化文章标签： python

本文链接：https://blog.csdn.net/h2728677716/article/details/123020358

版权

机器学习同时被 2 个专栏收录

44 篇文章 1 订阅

订阅专栏

正则化

5 篇文章 0 订阅

订阅专栏

MSE加上L2正则项的整体损失total loss公式：

$\sum_{i=1}^{m}(XiW-Yi)^2 + \alpha\sum_{i=0}^{n}(Wi)^2$

用L2范数可以写成 $\parallel X*W-y\parallel _{2}^{2}+ \alpha * \parallel W\parallel _{2}^{^{2}}$

使用Ridge（L2），Lasso（L1）

import numpy as np
from sklearn.linear_model import Ridge

X = 2*np.random.rand(100,1)
y = 4 + 3*X + np.random.randn(100, 1)

''' 
创建Ridge对象，alpha是正则项系数，alpha越大代表越看重模型的泛化能力，越小代表越看重训练集的准确度
solver代表使用那种优化算法，sag是随机梯度下降
'''
ridge_reg = Ridge(alpha=400, solver='sag')

ridge_reg.fit(X, y)
print(ridge_reg.predict([[1.5]]))
# 截距项
print(ridge_reg.intercept_)
# 打印其他系数
print(ridge_reg.coef_)

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressor
from sklearn.linear_model import Lasso


X = 2*np.random.rand(100,1)
y = 4 + 3*X + np.random.randn(100, 1)


# 使用梯度下降的方法， penalty代表使用哪种正则项，max_iter代表迭代多少次

lasso_rag = Lasso(alpha=0.15, max_iter=30000)
lasso_rag.fit(X, y)
print(lasso_rag.predict([[1.5]]))
print(lasso_rag.intercept_)
print(lasso_rag.coef_)

使用梯度下降SGD代码实现

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressor


X = 2*np.random.rand(100,1)
y = 4 + 3*X + np.random.randn(100, 1)


# 使用梯度下降的方法， penalty代表使用哪种正则项，max_iter代表迭代多少次
sgd_reg = SGDRegressor(penalty='l2', max_iter=1000)
sgd_reg.fit(X, y.reshape(-1,))
print(sgd_reg.predict([[1.5]]))
print(sgd_reg.intercept_)
print(sgd_reg.coef_)