搭建深度学习网络时节约GPU显存的技巧

两只蜡笔的小新

已于 2024-02-01 10:25:45 修改

阅读量850

点赞数 1

分类专栏： pytorch 文章标签：深度学习 pytorch 人工智能

于 2022-08-10 11:12:43 首次发布

本文链接：https://blog.csdn.net/weixin_44503976/article/details/126262686

版权

前言

在搭建网络的时候，发现relu函数用几种不同的用法，对于不同的用法，并不会改变可训练参数的数量，但是所占用的计算机资源却不同，但是各有利弊，相面详细介绍。

可以对比这篇文章一起看，实在这篇文章基础上进行修改的。

pytorch从零实现resnet_两只蜡笔的小新的博客-CSDN博客_pytorch使用resnet

如果手头里面没有好用的GPU服务器：推荐一下下面这个链接：

一、残差块的不同实现

【版本1】

def BasicBlock(in_ch,out_ch,stride):
    return nn.Sequential(
            nn.Conv2d(in_ch, out_ch, 3, stride, padding=1, bias=False),
            nn.BatchNorm2d(out_ch),
            nn.ReLU(inplace=True),  # inplace = True原地操作,节省显存
            nn.Conv2d(out_ch, out_ch, 3, stride=1, padding=1, bias=False),
            nn.BatchNorm2d(out_ch),
            nn.ReLU(inplace=True),
        )
class ResidualBlock_old(nn.Module):
    # 实现子module：Residual Block
    def __init__(self, in_ch, out_ch, stride=1, shortcut=None):
        super(ResidualBlock_old, self).__init__()
        self.BasicBlock = BasicBlock(in_ch,out_ch,stride)
        self.downsample = shortcut

    def forward(self, x):
        out = self.BasicBlock(x)
        residual =