PyTorch实现L1，L2正则化以及Dropout

最新推荐文章于 2024-05-10 10:02:49 发布
最新推荐文章于 2024-05-10 10:02:49 发布
阅读量1.3k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jorah/article/details/89302202
版权
本文介绍了PyTorch中如何实现L1、L2正则化以及Dropout。L1正则化产生稀疏模型，L2正则化防止过拟合。Dropout通过随机忽略部分神经元来减少过拟合，训练阶段以一定比例v让隐层节点失效，测试阶段则调整输出以保持一致性。文中还提供了 Dropout 的 numpy 和 PyTorch 实现。
摘要由CSDN通过智能技术生成

PyTorch实现L1，L2正则化以及Dropout
了解知道Dropout原理
用代码实现正则化(L1、L2、Dropout）
Dropout的numpy实现
PyTorch中实现dropout

L1，L2正则化
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）
在这里插入图片描述
那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
**
Dropout原理**
常用的防治过拟合的方法是在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。因此在添加权值惩罚项后，应用梯度下降算法迭代优化计算时，如果参数theta比较大，则此时的正则项数值也比较大，那么在下一次更新参数时，参数削减的也比较大。可以使拟合结果看起来更平滑，不至于过拟合。

Dr

最低0.47元/天 解锁文章
Jorah
关注
L1正则化：特征选择与稀疏模型的利器
AI天才研究院
08-09 1021
L1正则化：特征选择与稀疏模型的利器 1. 背景介绍 1.1 机器学习中的过拟合问题 在机器学习中,我们经常面临模型过拟合的问题。过拟合是指模型在训练数据上表现很好,但在新的、未见过的数据上泛化能力很差。造成过拟合的主要原因是模
Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别
weixin_36670529的博客
04-29 2356
首先需要明确optimzier优化器的作用, 形象地来说，优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用，这也是机器学习里面最一般的方法论。 从优化器的作用出发，要使得优化器能够起作用，需要主要两个东西： 1. 优化器需要知道当前的网络或者别的什么模型的参数空间，这也就是为什么在训练文件中，正式开始训练之前需要将网络的参数放到优化器里面，比如使用pytorch的话总会出现类似如下的代码： optimizer_G = Adam(model_G.parame
Dropout原理介绍
只为成功找方法 不为失败找借口
12-15 2175
本文转自：http://m.blog.csdn.net/blog/whiteinblue/37808623  一：引言 因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题，过拟合指的是模型在训练数据上损失函数比较小，预测准确率较高（如果通过画图来表示的话，就是拟合曲线比较尖，不平滑，泛化能
pytorch实现L1正则化
qq_41978536的博客
05-22 3631
Pytorch L1,L2正则化
Victor_Li_的博客
10-30 859
偏置的作用：偏置（bias）是模型中的一个常数项，它的作用是调整模型预测值与实际值之间的偏差。权值在模型中起到了控制特征的重要作用，对权值进行正则化可以有效地减少模型的复杂度，提高泛化能力。数据中的偏移：在实际的数据中，通常会存在一些偏移（bias），即使我们对权值不进行正则化，模型也可以通过调整偏置来适应这种偏移。因此，对偏置进行正则化可能会导致对数据中的偏移进行过度拟合，而忽略了模型对其他特征的学习能力。L1正则化和L2正则化是常用的正则化技术，用于在机器学习模型中控制过拟合。
PyTorch程序实现L1和L2正则项
qq_44949041的博客
07-05 4841
正则化是机器学习中的一个重要概念，它可以帮助我们防止模型过拟合。在这篇文章中，我将详细介绍两种常见的正则化技术：L1和L2正则项。然后会基于PyTorch平台讲解如何向自己的网络模型中添加上述两种技术，将正则化真正为己所用！！！
PyTorch入门精简资料（五）PyTorch实现L1，L2正则化以及Dropout
Courageux_J的博客
08-16 776
Datawhale_Task5PyTorch实现L1，L2正则化以及Dropout 了解知道Dropout原理 用代码实现正则化(L1、L2、Dropout） Dropout的numpy实现 PyTorch中实现dropout 参考资料：PyTorch 中文文档 1.Dropout原理 （1）Dropout 实际是在前向传播的时候，让某个神经元的激活值以一定...
【PyTorch 深度学习】5.PyTorch实现L1，L2正则化以及Dropout
qq_40314507的博客
04-15 7552
1.Dropout原理 Droupout是指在深度网络的训练中，以一定的概率随机地“临时丢弃”一部分神经元。 具体来讲，Dropout作用于每份小批量训练数据，由于其随机丢弃部分神经元的机制，相当于每次迭代都在训练不同结构的神经网络。类似于Bagging方法，dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 Dropout的具体实现中，要求某个神经元节点激活值以一定的概率p被“...
任务5 PyTorch实现L1、L2正则化及Dropout
qinhanmin2010的博客
08-15 524
L1正则化 import torch import torch.nn as nn import torchvision import torchvision.transforms as transforms # Hyper-parameters input_size = 784 hidden_size = 500 num_classes = 10 num_epochs = 5 batch_si...
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）
路人贾的博客
03-02 5499
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）超级详细！
pytorch-lasso:使用PyTorch的L1正则化最小二乘
04-19
PyTorch套索 用于L1正则化最小二乘（套索）问题的PyTorch库。 该库正在进行中。 欢迎和赞赏的贡献！ 作者：Reuben Feinman（纽约大学） 乍看上去： import torch from lasso . linear import dict_learning , sparse_encode # dummy data matrix data = torch . randn ( 100 , 10 ) # Dictionary Learning dictionary , losses = dict_learning ( data , n_components = 50 , alpha = 0.5 , algorithm = 'ista' ) # Sparse Coding (lasso solve) coeffs = sparse_encode ( data , di
PyTorch训练模型添加L1/L2正则化的两种实现方式
热门推荐
hlld__的博客
03-02 2万+
L1/L2正则化的作用 L1正则化作用到参数会产生更稀疏的解，既能使参数在训练过程中尽量靠近最优解的同时，一些参数为0。L1正则化的稀疏性质被广泛应用于特征选择，可从特征集合中选出具有代表的特征子集，以此简化机器学习问题。L1正则化的表达式如下： f(θ)=∣∣θ∣∣1=∑i∣θi∣ f(\theta) = || \theta ||_{1} = \sum_{i} | \theta_{i} | f(θ)=∣∣θ∣∣1​=i∑​∣θi​∣ 由于上述表达式存在绝对值形式，不能直接求导，但可以使用次梯度表示。L1正
使用PyTorch实现L1, L2和Elastic Net正则化
最新发布
deephub
05-10 4157
L1 正则化（Lasso回归）L1 正则化通过向损失函数添加参数的绝对值的和来实施惩罚，公式可以表示为：其中 L0 是原始的损失函数，λ 是正则化强度，wi是模型参数。L1 正则化的特点是它可以产生稀疏模型，即许多模型参数会被设置为零。这种特性使得L1正则化不仅可以防止过拟合，还可以进行特征选择。L2 正则化（Ridge回归）L2 正则化通过添加参数的平方和来施加惩罚，公式为：λ 控制着正则化的强度。
Pytorch基础之——（五）Pytorch实现L1，L2正则化以及Dropout
weixin_42257802的博客
08-15 879
文章目录1.了解知道Dropout原理2.用代码实现正则化(L1、L2、Dropout）3.Dropout的numpy实现4.Pytorch中实现dropout5.[参考资料：PyTorch 中文文档](https://pytorch.apachecn.org/docs/1.0/) 1.了解知道Dropout原理 1 2.用代码实现正则化(L1、L2、Dropout） 1 3.Dropout的nu...
机器学习之L1正则化和L2正则化（附源码解析）
qq_38375203的博客
06-10 4065
今天还是机器学习的基础知识内容，也是最基础的哈。首先说一下什么是正则化，其实它就是一个减少方差的策略。那么什么是方差呢？在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象，也就是指的高方差，就是模型在训练集上训练的超级好，几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差， 正则化的思想就是在我们的目标函数中价格正则项， 即：在这里正则项有两种，分别是L1和L2，先来看一下两者的表达式： 如果加上这种正则项，就是希望我们的代价函数小，同时也希望我们这里的小，这样就说明每个样本
【PyTorch】07正则化
qq_41566530的博客
05-21 680
7 PyTorch的正则化 7.1 正则化之weight_decay Regularization：减小方差的策略，从而解决过拟合问题，常见的方法有：L1正则化和L2正则化 weight decay（权值衰减）= L2 Regularization 在PyTorch的优化器中提供了 weight decay（权值衰减）的实现 【PyTorch】6.1 正则化之weight_decay 误差可分解为：偏差、方差与噪声之和，即误差=偏差+方差+噪声 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻
pytorch Conv2d L2 正则化
03-30
PyTorch的Conv2d层默认不包含L2正则化，但可以通过添加权重衰减参数来实现L2正则化。具体方法是在定义优化器时，将weight_decay参数设置为一个非零值，代表权重衰减的强度。例如，以下代码展示了如何使用L2正则化来训练一个简单的卷积神经网络： ``` import torch import torch.nn as nn import torch.optim as optim # 定义卷积神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(nn.functional.relu(self.conv1(x))) x = self.pool(nn.functional.relu(self.conv2(x))) x = x.view(-1, 16 * 5 * 5) x = nn.functional.relu(self.fc1(x)) x = nn.functional.relu(self.fc2(x)) x = self.fc3(x) return x # 定义优化器并添加L2正则化 net = Net() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9, weight_decay=0.001) # 训练网络 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = nn.CrossEntropyLoss()(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 2000 == 1999: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 2000)) running_loss = 0.0 ``` 在定义优化器时，将weight_decay参数设置为0.001，即可实现L2正则化。需要注意的是，权重衰减是一种常用的正则化方法，但并不是唯一的正则化方法。在深度学习中，还有其他正则化方法如L1正则化、Dropout等，可以根据具体情况选择合适的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值