深度学习
文章平均质量分 78
等待戈多。
这个作者很懒,什么都没留下…
展开
-
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (二)
近期在阅读论文时,用到里面APG-NAG相关优化器的知识,原论文方法采用mxnet去实现的,在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。在之前文章APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)详细推导了APG,本篇将讲述NAG和APG结合的实现。原创 2022-10-18 22:40:15 · 1830 阅读 · 0 评论 -
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)
近期在阅读Data-Driven Sparse Structure Selection for Deep Neural Networks论文时,用到里面APG-NAG相关优化器的知识,原论文方法采用mxnet去实现的,在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。原创 2022-10-18 00:25:04 · 5089 阅读 · 1 评论 -
图解连续学习中的蓄水池抽样算法(The Illustrated Reservoir sampling)
近期在看连续学习中有关于Replay Method的文章时,在对数据流的采样中,reservoir sampling方法出现了很多次。本文将对该方法进行梳理,原创 2022-08-26 20:42:04 · 1326 阅读 · 0 评论 -
A brief Introduction to Continue Learning / Life long Learning
A brief Introduction to Continue Learning / Life long Learning原创 2022-08-17 20:36:45 · 1383 阅读 · 0 评论 -
Pytorch多GPU条件下DDP集群分布训练实现(简述-从无到有)
近两天在尝试Pytorch环境下多GPU的模型训练,总结一份可以从无到有完整实现的笔记。搞了一晚上加一中午,终于搞成功了。这里对此进行记录,便于以后查阅。原创 2022-07-27 15:27:24 · 2043 阅读 · 0 评论 -
论文中的好文佳句摘录
好文佳句推荐原创 2022-07-11 16:03:03 · 616 阅读 · 0 评论 -
目标检测经典知识点汇总(二):FPN:Feature Pyramid Networks for Object Detection
Feature Pyramid Networks for Object Detection前言一、Pyramid 图像金字塔及特征金字塔二、Bottom-up pathway、Top-Down pathway and Lateral Connection解释三、FPN+RPN应用总结前言也是比较老的一篇论文,网上已经有很多讨论,且论文讲的很详细,方法也很简单。不再过多赘述,建议参考原论文和一些其它blog。推荐阅读:详解FPN网络深度学习网络 | FPN和fast rcnn及RPN网络是如何结合的原创 2022-05-28 16:04:10 · 364 阅读 · 0 评论 -
目标检测经典知识点汇总(一):RPN(以Faster RCNN为例)
目标检测经典知识点汇总(一)前言一、Region Proposal Network (RPN)RPN原理讲解RPN在目标检测中的应用(Faster RCNN为例)1. Conv layers2. RPN如何训练RPN?3.ROI pooling4.classifier参考前言有一些非常经典的应用于目标检测的理论知识,虽然之前看论文有看到过,但后面再次碰到又会忘记具体细节,因此值得记录下来。一、Region Proposal Network (RPN)RPN网络在2016年于Faster RCNN文原创 2022-05-27 20:57:24 · 4260 阅读 · 0 评论 -
在训练过程中跑验证集导致显存out of memory问题。
文章目录前言正文总结前言在训练模型时,笔者想要每训练一个epoch,记录一下val的准确率,但是每当训练完第一个epoch开始准备跑val数据集的时候,就会出现显存double然后溢出的情况(batch_size在验证和训练时设置相同)。此处将复现笔者出现的问题,并给出解决方案。正文原始训练流程:for eopch in epochs: for data,label in train_dataloader: model.train() train(model,data,label)原创 2022-05-02 21:03:56 · 3105 阅读 · 0 评论 -
GELU激活函数
推荐直接看:https://alaaalatif.github.io/2019-04-11-gelu/GLEU激活函数转载 2022-04-14 11:17:59 · 206 阅读 · 0 评论 -
Pytorch有关学习率的使用总结
文章目录有关学习率的调整方式一、学习率的调整模板常见模板1:常见模板2:通用模板:二、自适应调整学习率方式 - ReduceLROnPlateau参考附录:pytorch常见学习率调整函数:有关学习率的调整方式当我们定义好优化器后,有关学习率的调整方式是比较头大的一个问题,除了自己手动定义函数来自定义的调整学习率的方法外,pytorch的optim库也提供了许多便捷的动态学习率的调整方式。torch.optim.lr_scheduler提供了一些基于epoch数的学习率调整方法。torch.opt原创 2022-03-29 12:04:25 · 3230 阅读 · 0 评论 -
深度学习中有关网络中的参数量(param)计算。附录有浮点计算量(FLOPs)的链接。
文章目录网络中的参数量(param)和浮点计算量(FLOPs)的计算一、网络中的参数量(param)是什么?浮点计算量(FLOPs)是什么?二、如何计算网络中的参数量(param)、浮点计算量(FLOPs)网络中的参数量(param)的计算2.读入数据总结网络中的参数量(param)和浮点计算量(FLOPs)的计算一、网络中的参数量(param)是什么?浮点计算量(FLOPs)是什么?网络中的参数量(param)对应与空间Space概念,及空间复杂度。浮点计算量(FLOPs)对应与时间Time概.原创 2022-02-27 20:03:49 · 11137 阅读 · 4 评论 -
有关Pytorch训练时Volatile Gpu-Util(GPU利用率)很低,而Memory-ueage(内存占比)很高的情况解释与说明
有关Pytorch训练时GPU利用率很低,而内存占比很高的情况前言有关GPU的Memory-usage的占用(GPU内存占有率)有关Volatile GPU-Utile的利用率(GPU的利用率)直接参考前言模型开始训练时候,常用watch -n 0.1 nvidia-smi来观察GPU的显存占比情况,如下图所示,通常GPU显存占比和GPU利用率都很高,但有的模型训练的时候GPU利用率(Volatile GPU-util)占比在不断的动态变化,从0-100%之间不断浮动循环。如果发生上述这种GPU利用转载 2022-01-30 13:27:34 · 22667 阅读 · 1 评论 -
COCO数据集介绍
COCO数据集详细介绍前言一、什么是COCO数据集?COCO数据集可以应用到的Task:一个简单的数据集实例展示:二、COCO数据集的使用1.引入库2.读入数据附录80个类别前言以下内容均来自COCO官方以及Microsoft COCO: Common Objects in Context一、什么是COCO数据集?COCO数据集是一个可用于图像检测(image detection),语义分割(semantic segmentation)和图像标题生成(image captioning)的大规模数据原创 2022-01-27 11:36:40 · 110395 阅读 · 4 评论