【Pytorch】7. 训练优化

最新推荐文章于 2021-12-30 09:57:29 发布
最新推荐文章于 2021-12-30 09:57:29 发布
阅读量162 收藏
点赞数 1
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35272180/article/details/115304944
版权

前面的部分我们学了怎么构建神经网络以及如何训练，但有时候我们发现结果不如意，那么该怎么办呢？这部分就学习一些解决方法

文章目录

使用测试集（验证集）

下面哪个模型更优呢？
在这里插入图片描述

其实肉眼是不太看的出来的，就算右边的模型好像所有点都分类正确了，但也有可能过拟合，所以我们可以引入测试集（或者验证集），先训练一部分，然后进行测试

在这里插入图片描述

结果发现，第一个模型有一个分类错误，第二个模型有两个分类错误，所以跟我们的直觉还是不相符的

在这里插入图片描述

因此在机器学习中，我们就是这么做的，每当我们要在可以完成工作的简单模型和复杂模型中选时，我们更倾向于简单模型

例如下图，左边欠拟合，中间刚刚好，右边过拟合

在这里插入图片描述

但是现实情况是，我们很难在真实情况下刚好达到一个just right的模型，要么就是欠拟合，要么就是过拟合，我们通常的做法就是在过于复杂模型的一侧犯错，然后通过一些技巧来避免过拟合

早期停止

例如训练一个模型，不同的epoch时模型从欠拟合到过拟合
在这里插入图片描述

我们就加一些测试集的数据，分别在这些epoch期测试，然后把训练error和测试error画出来

在这里插入图片描述

所以在训练的时候，当testing error开始升高了，我们就停下来，这种方法就叫做早期停止

在这里插入图片描述

正则化（Regulation）

这里有个问题，考虑最简单的情况，我们有两个点，一个蓝色的（1，1），一个红色的（-1，-1），对他们进行分类，现在有两个答案，那么下面两个答案哪个的误差更小呢？

在这里插入图片描述

答案是第二个，我们用上sigmoid函数，可以进行计算

在这里插入图片描述

因为10x1+10x2的函数更窄，其实这在某种程度上算是过拟合，而且它的导数非常大

在这里插入图片描述

如何避免这种情况呢？最简单的就是在原来的物产函数基础上对weights加上惩罚系数，可以是加上绝对值和，也可以是平方和。如果是绝对值和，就是L1正则化，如果是平方和，就是L2正则化

在这里插入图片描述

一般情况下我们都使用L2
在这里插入图片描述

Dropout

假如你要运动，周一打球，周二举铁，周三……，最后你会发现自己有一个非常强壮的右臂
在这里插入图片描述

那么假如你周一打球，周二把右手绑起来只练左手，周三把左手绑起来只用右手打球……最后你两个手臂都很发达
在这里插入图片描述

神经网络也是这样，有时一些部分的权重会变得很大，而另一些部分得不到训练

在这里插入图片描述

因此我们在训练的时候，会选择性关闭一些节点，让剩下的节点得到锻炼，担起责任。在每一轮epoch中，关闭一些节点，就像是给这些节点一个参数，这个参数就是每个节点在特定epoch被drop的概率，这个过程反复进行，最后每个节点都得到相同的处理，这个方法就叫做dropout

在这里插入图片描述
在这里插入图片描述

随机重新开始

在梯度下降算法中假如存在局部最低点，那么很有可能模型会达到一个局部的最低点，而不是全局的最低点，如何解决这个问题呢？

在这里插入图片描述

一个解决办法就是随机从不同的地点开始下降，

在这里插入图片描述

本系列笔记来自Udacty课程《Intro to Deep Learning with Pytorch》

全部笔记请关注微信公众号【阿肉爱学习】，在菜单栏点击“利其器”，并选择“pytorch”查看

在这里插入图片描述

阿肉~
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习6 -- 深度学习训练优化
谢杨易的博客
08-30 1万+
深度学习中，我们在训练集上进行训练，结束后利用模型在测试集上进行predict。一般来说可能遇到两大类问题如下图所示我们分别来看这两种情况怎么来优化模型。
加速训练的优化方法
yleave的博客
08-14 431
一、BGD 法   BGD 的全称是 batch gradient descent ，即批梯度下降。这种方法是利用现有的参数对训练集中的每一个输入生成一个估计输出 yiy_iyi​，然后跟实际输出 yiy_iyi​ 比较，统计所有误差，求平均值后得到平均误差，以此作为更新参数的依据。它的迭代过程为： 提取训练集中的所有内容 {x1,...,xnx_1,...,x_nx1​,...,xn​}，以及...
lm神经网络_大规模神经网络的训练优化-入门
weixin_39617470的博客
11-21 507
之前一段时间接触了大规模神经网络训练，看了不少优秀的工作，在这里当做笔记记下来。同时也希望可以抛砖引玉，和各位大佬交流一下这方面的现有工作以及未来的方向（1）大规模训练工作的几种类型大规模训练和普通分布式训练还是有区别的，主要体现在大这个字上面。一般来说会涉及到几百个分布式节点同时工作，模型的参数量以及运算量往往很大（比如BERT，GPT3等等）我认为在这个task下当前的工作主要归结...
『PyTorch』正则化
七秒钟的记忆
02-27 671
regulation
深度之眼Pytorch框架训练营第四期——损失函数
Ikerlz的博客
05-21 755
文章目录损失函数1、损失函数概念（1）概述（2）`PyTorch`中的Loss2、交叉熵损失函数3、NLL/BCE/BCEWithLogits Loss（1）`nn.NLLLoss`（2）`nn.BCELoss`（3）`nn.BCEWithLogitsLoss`4、其余14种损失函数介绍（1）`nn.L1Loss`（2）`nn.MSELoss`（3）`SmoothL1Loss`（4）`PoissonNLLLoss`（5）`nn.KLDivLoss`（6）`nn.MarginRankingLoss`（7）`n
浅谈Pytorch torch.optim优化器个性化的使用
12-20
在PyTorch中，`torch.optim` 是一个用于优化神经网络权重的重要库，它提供了多种常用的优化算法，如SGD（随机梯度下降）、Adam、RMSprop等。本篇文章将探讨如何在PyTorch中个性化地使用这些优化器。 首先，我们来看...
pytorch资源.zip
03-08
7. **动态计算图(Dynamic Computational Graph)**：与TensorFlow等框架的静态计算图不同，PyTorch的动态计算图允许在运行时构建和修改计算图，更适合实验和调试。 8. **模型并行与数据并行**: PyTorch支持多GPU训练...
pytorch介绍.zip
最新发布
03-18
PyTorch提供了`torch.nn`模块，用于构建和训练神经网络，其中包含各种常用的层（如卷积层、全连接层）和优化器（如SGD、Adam）。`torch.autograd`模块则用于自动求梯度，这是反向传播的关键部分，使得模型的训练变得...
pytorch学习.zip
05-05
在PyTorch中，我们可以使用`nn.Linear()`构建一个线性层，并结合优化器如SGD（随机梯度下降）进行训练。以下是一个简单的例子： ```python class LinearClassifier(nn.Module): def __init__(self, input_size, ...
L2 normalization和L1，L2 regulation
qq_39068872的博客
09-18 5399
L2 Normalization 第二种Normalization对于每个样本缩放到单位范数（每个样本的范数为1），主要有L1-normalization（L1范数）、L2-normalization（L2范数）等 Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（比如l1-norm,l2-norm）等于1...
pytorch实现L2和L1正则化regularization的方法
热门推荐
AI吃大瓜的博客
03-14 11万+
pytorch实现L2和L1正则化的方法 目录 目录 pytorch实现L2和L1正则化的方法 1.torch.optim优化器实现L2正则化 2. 如何判断正则化作用了模型？ 2.1 未加入正则化loss和Accuracy 2.1 加入正则化loss和Accuracy 2.3 正则化说明 3.自定义正则化的方法 3.1 自定义正则化Regularization类 3.2...
基于pytorch 的 orthogonal_regularization（正交规范化）实现
月下花弄影
02-19 7099
认为参数需要满足一定条件，希望卷积层参数是正交的。 如果不是正交的，计算与正交之间的距离，然后作为损失进行优化。 本程序给出了orthogonal regularization的pytorch的实现，直接返回模型的损失。 import torch def orthogonal_regularization(model, device, beta=1e-4): r""" au...
（15）pytorch之正则化
Ilove996
12-23 799
一、正则化Regularization（减少方法的策略） 1. 误差=偏差+方差+噪声 偏差：学习算法本身的拟合能力，表示学习算法的期望预测与真实结果的偏离程度 方差：数据扰动造成的影响（模型在训练集和测试集上表现的差异） 噪声：无法避免，泛化误差下界 2. 损失函数：衡量模型输出与真实标签的差异（每一个） 代价函数：（求平均） 目标函数： 3. L1Regularization Term:（如果目标函数为cost+L1则表示希望绝对值小） L2Regularization Term：（如果目标函数
Torch优化训练的17种方法
爱CV
12-30 1805
本文介绍在使用 PyTorch 训练深度模型时最省力、最有效的 17 种方法。该文所提方法，都是假设你在 GPU 环境下训练模型。具体内容如下。 01 考虑换一种学习率 schedule 学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neu
深度学习 | 训练及优化方法
Joselynzhao
06-17 5803
训练及优化方法深度网络优化方法优化及调试策略:实践流程梯度消失与梯度爆炸Sigmoid 激活函数问题ReLU参数初始化学习率迭代次数batch sizeBatch 方差与 learning rate 关系Large-batch 魔咒正则化正则化技术概述数据增强技术数据集规范化目标函数及正则化 深度网络优化方法 优化及调试策略:实践流程 确定目标:误差度量及期望目标 建立端到端流程: 数据读取、预...
让PyTorch训练速度更快，你需要掌握这17种方法
北国觅梦
01-17 846
参考链接：https://mp.weixin.qq.com/s/hvlr098BxWOf6C8zO0UvYg 1. 考虑换一种学习率 schedule 学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using La
深度学习（Deep Learning）读书思考四：模型训练优化
fangqingan_java的专栏
11-20 1万+
概述 机器学习应用包括模型构建、求解和评估，对于深度模型而言也是类似，根据之前的介绍可以构建自己的深度神经网络结构。相对于一般的优化问题，深度模型更难优化，本节主要介绍深度学习模型优化挑战、优化算法以及优化策略等。 深度学习模型优化挑战 深度学习优化算法 深度学习中的特殊策略 另外，关于更多数值优化技术可以参考。数值优化技术 深度学习优化挑战 机器学习
深度学习总结（一）各种优化算法
qq_23269761的博客
07-03 5万+
参考博文： 码农王小呆：https://blog.csdn.net/manong_wxd/article/details/78735439 深度学习最全优化方法总结： https://blog.csdn.net/u012759136/article/details/52302426 超级详细每个算法的讲解，可参考： https://blog.csdn.net/tsyccnh/articl...
tensorflow 优化器optimizer
wuguangbin1230的博客
05-04 2万+
1. 优化器的种类 Optimizer GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer MomentumOptimizer AdamOptimizer FtrlOptimizer RMSPropOptimizer 2. GradientDescentOptimizer wit
基于pytorch模型剪枝的实现（极大的减少模型计算参数加快模型运行速度）
帅的发光发亮的博客
10-03 2万+
深度模型剪枝实现以及一些网络优化技巧模型剪枝：Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017).基于论文的代码复现以及拓展：在网络上中加入其它优化方法最强深度学习优化器Rangerwarm up与consine learning rate为什么使用warmup?label smoothapex混合精度训练梯度累加其他网络部署的方式： 模型剪枝：Learning Efficient Convolutio
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值