在深度学习中,正则化的作用是防止模型过拟合(overfitting),从而提高模型在新数据上的泛化能力。过拟合是指模型在训练数据上表现良好,但在未见过的测试数据上表现不佳。这通常是因为模型过于复杂,以至于它不仅学习到了数据的模式,还捕捉到了数据中的噪声。
1.L1 正则化(Lasso):
L1 正则化通过对模型的权重绝对值求和后乘以一个正则化参数加到损失函数上,迫使一些权重变为零,从而产生一个稀疏模型。这种方法有助于特征选择,因为它倾向于保留对预测最重要的特征,减少不必要的特征。

其中, Wi表示是模型的权重参数,λ 是正则化强度的超参数,控制着正则化项的影响力。
L1 正则化通过在原始损失函数(如 MSE 或交叉熵)上添加权重绝对值之和的惩罚项,使得某些权重趋向于零,从而实现稀疏性。
下面是例子
#使用 Lasso 回归模型来代替原来的线性回归模型。Lasso 回归会在损失函数中加入 L1 正则化项。
from sklearn.linear_model import Lasso
# 构建 Lasso 回归模型
model = Lasso(alpha=1.0) # alpha 为正则化强度参数 λ
model.fit(X_train, y_train)
#在测试集上评估模型的性能,看看是否有过拟合现象的缓解。
y_pred = model.predict(X_test)
#通过调整 alpha 参数来控制正则化的强度。如果发现模型仍然过拟合,尝试增大

最低0.47元/天 解锁文章
957

被折叠的 条评论
为什么被折叠?



