机器学习/深度学习中,防止过拟合的方法

        在深度学习中,正则化的作用是防止模型过拟合(overfitting),从而提高模型在新数据上的泛化能力。过拟合是指模型在训练数据上表现良好,但在未见过的测试数据上表现不佳。这通常是因为模型过于复杂,以至于它不仅学习到了数据的模式,还捕捉到了数据中的噪声。

1.L1 正则化(Lasso)

        L1 正则化通过对模型的权重绝对值求和后乘以一个正则化参数加到损失函数上,迫使一些权重变为零,从而产生一个稀疏模型。这种方法有助于特征选择,因为它倾向于保留对预测最重要的特征,减少不必要的特征。

 其中,​ Wi表示是模型的权重参数,λ 是正则化强度的超参数,控制着正则化项的影响力。

L1 正则化通过在原始损失函数(如 MSE 或交叉熵)上添加权重绝对值之和的惩罚项,使得某些权重趋向于零,从而实现稀疏性。

下面是例子


#使用 Lasso 回归模型来代替原来的线性回归模型。Lasso 回归会在损失函数中加入 L1 正则化项。
from sklearn.linear_model import Lasso

# 构建 Lasso 回归模型
model = Lasso(alpha=1.0)  # alpha 为正则化强度参数 λ

model.fit(X_train, y_train)

#在测试集上评估模型的性能,看看是否有过拟合现象的缓解。
y_pred = model.predict(X_test)

#通过调整 alpha 参数来控制正则化的强度。如果发现模型仍然过拟合,尝试增大 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值