pytorch对梯度进行可视化进行梯度检查

84 篇文章 6 订阅
44 篇文章 6 订阅

目的: 在训练神经网络的时候,有时候需要自己写操作,比如faster_rcnn中的roi_pooling,我们可以可视化前向传播的图像和反向传播的梯度图像,前向传播可以检查流程和计算的正确性,而反向传播则可以大概检查流程的正确性。

实验

可视化rroi_align的梯度

  1. pytorch 0.4.1及之前,需要声明需要参数,这里将图片数据声明为variable
    im_data = Variable(im_data, requires_grad=True)
  2. 进行前向传播,最后的loss映射为一个一维的张量
pooled_feat = roipool(im_data, rois.view(-1, 6))
res = pooled_feat.pow(2).sum()
res.backward()
  1. 注意求loss的时候采用更加复杂,或者更多的运算(这样在梯度可视化的时候效果才更加明显)

可视化效果

原始图片
在这里插入图片描述
梯度可视化图片
在这里插入图片描述
原图+梯度图
在这里插入图片描述
小结:

  1. 可以看到误差梯度的位置是正确的,误差是否正确,需要其他方式验证(暂时没有思路)
  2. 可以看到上面在求loss的时候为:loss = sum(x2),但是如果换成:loss = mean(x),效果就没有上面明显。

实验二的效果

loss = mean(x)
在这里插入图片描述
可以看到根本无法看到误差梯度的位置信息

实验三:loss = sum(x)

在这里插入图片描述
在这里插入图片描述
小结: 可以看到位置信息有差别,比如国徽部分,这会让人以为,国徽部分只利用了左部分的信息,或者自己手写的操作误差索引不对。
可以通过两种方式进行验证

  1. 用更多,更复杂的运算求loss,比如pow,等
  2. 用matplotlib显示图片后,用鼠标可以指示每个点的具体的值,可以检测有误差梯度区域是否和无误差梯度区域有差别。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值