关于目标框、特征resize和感受野的思考

1.目标框resize: resize的实质是坐标变换，在进行resize时，不同采样插值方法的坐标变换方法不同，但resize始终会保持图中原有的相对位置关系，所以计算resize后的坐标都是通过除以缩放倍数这样计算，虽然有偏差但是可以忽略不计。


2. 感受野： 特征的感受野是用于表示这个特征受它对应哪部分区域的影响。CAM将上采样后的高亮区域作为原图的起作用区域是不严谨的，实际上起作用区域应该包含感受野的区域，但是感受野是呈高斯分布的，由中心向外，起的作用是递减的，所以实际感受野是小于理论感受野的，那么一个关键的问题就是起多大的作用才算“起作用”。为了避免讨论这个难以回答的问题，干脆直接将上采样的高亮区域作为起作用区域了，也是一种主观但直观的方法。
3. 特征resize： 卷积具有空间不变性，对应卷积得到的特征图中物体的相对位置关系是不会变的，可以理解为原图和特征图是等比例缩放的，不存在偏移。所以在ROI pooling中，比如proposal在M×N的特征图尺度上，要映射到M/16×N/16的特征图尺度上，通常操作就是将proposal的坐标除以16后，然后在M/16×N/16的特征图上裁剪得到对应的特征区域。（值得注意的是这裁剪的特征和感受野的关系：这些特征是受它感受野（呈高斯分布）这块区域的影响，但并不代表它的特征就是对应感受野这块区域的特征） 。当然原图和特征图之间有一点偏移也是正常的，因为 kernel 有padding操作等。这个对于小物体影响很大，所以针对ROI pooling的问题才有了后面的改进算法ROI align ，就是为了尽可能得减小这个原图和 proposal 裁剪的特征不对齐问题。