Pytorch dropout输出值变了

最新推荐文章于 2023-02-10 17:24:46 发布

Zzzz26~

最新推荐文章于 2023-02-10 17:24:46 发布

阅读量1.1k

点赞数

文章标签： pytorch 神经网络

原文链接：https://www.cnblogs.com/marsggbo/p/10592643.html

版权

https://www.cnblogs.com/marsggbo/p/10592643.html

https://blog.csdn.net/powu0193/article/details/99573632?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param

保持dropout前后期望值相同，dropout输出值需要除以keep_prob

input = tensor([[ 0.0450, 1.2095, -0.5184],
        [ 1.1053, -0.4822, -2.5850],
        [ 1.6852, 0.7533, -0.8871]])
output = tensor([[ 0.0899, 2.4190, -1.0369],
        [ 0.0000, -0.9645, -0.0000],
        [ 3.3704, 1.5066, -1.7742]])

from __future__ import print_function
import torch
import torch.nn as nn

m = nn.Dropout2d(p=0.5)
input = torch.randn(3, 3)
print('input = ', input)
output = m(input)
print('output = ', output)

注意：经过上面屏蔽掉某些神经元，使其激活值为0以后，我们还需要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。如果你在训练的时候，经过置0后，没有对y1……y1000进行缩放（rescale），那么在测试的时候，就需要对权重进行缩放，操作如下。