Attentive Generative Adversarial Network for Raindrop Removal from A Single Image 阅读笔记

Attentive Generative Adversarial Network for Raindrop Removalfrom A Single Image

• 去雨不是我的方向，读这篇论文的主要目的在于它同时用到了注意力机制和LSTM
• 网络结构是这样的：
• 
• attention的机制是这样的：生成的attention map居然是concate到下一个时间步上，concatenate能起到attention的作用吗？想象一下计算流程，concatenate后接的是卷积，相当于attention是以相加项的形式参与到下一层特征图中的，也就是加性地提高某些区域的特征值，这样反向传播训练的时候也是得到加性的梯度，还是合理的；若是乘性的，就得rescale，否则会越乘越小，不过反向传播就得到乘性的梯度，在特征值小于1的情况下，乘性的梯度比加性的梯度更小，而且受特征图影响，特征图上，特征值越大的地方，attention map得到的梯度越大，越小得到的梯度越小，因此原先特征图上没有的特征attention map并不能引导出来，反之亦然，因此加性是合理的
• 注意一下LSTM的操作，值得借鉴