fcn网络代码细节，inplace=True (原地操作)

self.conv1 = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=7, stride=2, padding=3, bias=False)
#112*112*64

self.bn1 = nn.BatchNorm2d(64)
#用了BatchNorm2d之后卷积的bias起不到任何效果了，所以bias=False，省下一些参数

self.relu = nn.ReLU(inplace=True)
#inplace=True能节省内存

Pytorch的很多地方有inplace这个参数，最近遇到的是nn.ReLU(inplace=True)。还有torch.sigmoid_等

inplace默认是False

inplace的含义是是否进行覆盖运算。即改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值

nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),
nn.ReLU(inplace=True)

的意思就是对从上层网络Conv2d中传递下来的tensor直接进行修改，这样能够节省运算内存，不用多存储其他变量
注： 产生的计算结果不会有影响。利用inplace计算可以节省内（显）存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。

 现在在网上可以看到两种说法，一是inplace=True可以节约显存，应该使用；二是inpalce=True可能会影响训练的时候的梯度传递最好不要用。那到底是怎样的呢？

      inplace操作更加节省内存，但是如果该内存可能被其他变量引用，可能导致计算一致性的问题，存在后效性。考虑到Pytorch中的F.relu函数或者nn.ReLU(inplace=True)层，在使用原地操作前，我们要确定其是贯序（Sequential）结构，而不会存在被其他变量引用的情况

错误使用的例子

例如我们想实现这样一个pipeline

import torch
import torch.nn as nn
 
my_conv1 = nn.Conv2d(in_channels=2, out_channels=2, kernel_size=3, stride=1, padding=1)
my_relu = nn.ReLU(inplace=True)
my_conv2 = nn.Conv2d(in_channels=2, out_channels=2, kernel_size=3, stride=1, padding=1)
 
x = torch.rand(1,2,3,4)
x1 = my_conv1(x)
h = my_relu(x1)
y = my_conv2(x1)

这样做就是有问题的。因为在x1在经过my_relu之后，其值经过改变，现在其值相当于h

所以 y = my_conv2(x1)在这里，其实相当于y=my_conv2(h)

这样得到的结果就不是我们预期的了。这种情况在多分支（Multi-branch）的网络中很常出现