保持dropout前后期望值相同,dropout输出值需要除以keep_prob | ||
input = tensor([[ 0.0450, 1.2095, -0.5184], [ 1.1053, -0.4822, -2.5850], [ 1.6852, 0.7533, -0.8871]]) output = tensor([[ 0.0899, 2.4190, -1.0369], [ 0.0000, -0.9645, -0.0000], [ 3.3704, 1.5066, -1.7742]]) | 注意: 经过上面屏蔽掉某些神经元,使其激活值为0以后,我们还需要对向量y1……y1000进行缩放,也就是乘以1/(1-p)。如果你在训练的时候,经过置0后,没有对y1……y1000进行缩放(rescale),那么在测试的时候,就需要对权重进行缩放,操作如下。 |
Pytorch dropout输出值变了
最新推荐文章于 2023-02-10 17:24:46 发布