长毛三花-CSDN博客

转载 Checkpointing的作用，设置

Checkpointing 已经作为“torch.utils.checkpoint.checkpoint_wrapper"API的一部分实现，通过该API可以包装前向过程中的不同模块。Checkpointing 通过重写“torch.autograd.Function"来实现。在处理模块前向传递的“forward"函数中，如果使用“no_grad"，我们可以在很长一段时间内（即直到反向传播之前）防止正向图的创建和中间激活张量的物化（？什么意思？。

2023-11-15 17:44:50 111 1

转载流水线并行选择大小batch的影响、作用

因此，如果选择的微批量太小，GPU可能未得到充分利用。另外，更快的分区应该等待相邻的较慢分区，分区之间的不平衡也可能导致GPU利用率不足。因此，总体性能由最慢的分区决定。基本上，流水线并行是一个小型数据并行的栈。当每个分区处理完一个微批次后，它可以将输出抛到下一个分区并立即开始下一个微批次的工作，这样分区就可以重叠。通过选择较小尺寸的微批次，可以减少“bubble"。但通常，较大的批量可以更有效地利用GPU。

2023-11-15 17:09:10 44 1

原创跑神经网络代码时缺第三方库怎么办

然后在base这行输入conda activate XXX，如果你是pytorch环境就输入conda activate pytorch，按enter回车键，就进入pytorch环境了，也就是下图第二行。相信一定有一部分人关于深度学习的基础知识都完全没学过就上手跑别人的代码，但又来不及从头一点点学，导入别人代码后发现缺东西，一查是缺库，让你pip install XXX，但又不知道要去哪里pip。记录一个特别小白的问题，pycharm跑别人的深度学习神经网络项目发现缺第三方库怎么办？

2023-11-07 22:37:43 28

原创 ResNeXt网络结构，不是resnet!

ResNeXt是在resnet的基础上进行了改进，更改了block，ResNeXt和resnet相比（图片是展示了50、101）计算量相同，但top-1 top-5错误率更低。今天看劈里啪啦wz的视频发现，之前的东西真的是学的一塌糊涂啊，好些后面困扰自己很久的东西都是先前就接触过的，但没上心全忘了，后面在那里一直纠结浪费时间。b) 图：先将a图那四个feature map进行拼接，得到下图左边的四通道feature map，也是1*1卷积4通道，画的有点问题。在此之前先介绍一下组卷积。

2023-11-01 21:46:49 125 1

原创我们常用的卷积操作——Conv2d里的参数

参数 kernel_size，stride，padding，dilation 都可以是一个整数或者是一个元组，一个值的情况将会。dilation：控制卷积核选的元素之间的间距【可选】默认为1，好像叫膨胀卷积？输入是蓝色，绿色是输出，可以看到dilation=1时输入间隔着一个格子。不仔细看代码是真不知道以前的代码都是白跑了，里面的东西根本就没搞懂。两个维度，两个值的元组情况代表分别作用于。

2023-10-21 19:33:51 109

原创 torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models 文章翻译

近年来，深度学习在几种方法的推动下有了显著的增长，这些方法使得深度神经网络(DNN)的训练能够以可扩展的方式进行，并通过开发更强大的硬件来推动。可以看出，DNN容量的增加有效地改善了性能。例如，AmoebaNet-B[23]使用GPipe[11]进行了缩放，拥有5.57亿个参数，达到了TOP-1的84.4%的准确率(这是当时最先进的结果)，而GPT-2[22]是一个基于Transformer的[28]语言模型，拥有15亿个参数(有关模型缩放的效果，请参阅[11]的图1)。

2023-10-19 16:53:01 147

原创 2023 10 18

回顾了一下自己读研后的日子，可以说基本是混到了研二，啥啥都没学明白，跟本科没多大区别，读研前的规划一点没完成，立的flag也被自己吃了。所以，从今天起，踏踏实实从0开始认真学习，不再浪费剩余的一年半时间，希望后面每天都可以写一篇与学习相关的博客，若实在比较忙，或者学习的东西对自己而言比较难，也要保证一周至少3篇博客。先这样，下个月看下完成情况。

2023-10-18 10:13:41 32 1

weixin_42238112的博客