PyTorch中ReLU的inplace

最新推荐文章于 2024-01-02 17:54:14 发布

weixin_33910434

最新推荐文章于 2024-01-02 17:54:14 发布

阅读量761

点赞数 1

文章标签：人工智能

原文链接：http://www.cnblogs.com/CZiFan/p/10790765.html

版权

0 - inplace

　　在pytorch中，nn.ReLU(inplace=True)和nn.LeakyReLU(inplace=True)中存在inplace字段。该参数的inplace=True的意思是进行原地操作，例如：

x=x+5是对x的原地操作
y=x+5,x=y不是对x的原地操作

　　所以，如果指定inplace=True，则对于上层网络传递下来的tensor直接进行修改，可以少存储变量y，节省运算内存。

inplace=True means that it will modify the input directly, without allocating 
any additional output. It can sometimes slightly decrease the memory usage, 
but may not always be a valid operation (because the original input is destroyed). 
However, if you don’t see an error, it means that your use case is valid.

　　如果你使用了in-place operation而没有报错的话，那么你可以确定你的梯度计算是正确的。