为什么Fast R-CNN 中说SPPNet很难进行反向传播

英文原文解释

“The root cause is that back-propagation through the SPP layer is highly inefficient when each training sample (i.e. RoI) comes from a different image, which is exactly how R-CNN and SPPnet networks are trained. The inefficiency stems from the fact that each RoI may have a very large receptive field, often spanning the entire input image. Since the forward pass must process the entire receptive field, the training inputs are large (often the entire image). ”

翻译解释

Fast RCNN 使用反向传播训练整个网络是其很重要的一个能力
-相反，SPPNet不能使用反向传播训练整个网络的原因是
      SPPNet无法更新SPP layer以下的权重，而导致无法更新的原因是
                  每个训练样本，即RoI,来自不同的图像时，通过SPP layer的反向传播是非常低效的，而这正是Fast R-CNN与SPPNet网络的训练方式。这种低效源于每个RoI可能有一个很大的感受野，通常跨越整个输入图片。由于前向传播必须处理整个感受野，因此训练的输入很大，通常是一整个图片.

对于Fast RCNN,在训练的时候利用特征的优点,在训练中对SGD mini-batch进行分层采样,首先采样N个图像,然后从每副图像中采样R/N 个RoI.重要的是,来自同一图像的RoI在向前和向后传递中共享计算和内存.使得N small减少mini-batch 的计算.例如,当使用N=2 和R=128,这个提出来的方案比从128张不同的图像中采样一个RoI快64倍.
关于这个策略的问题是,它可能导致训练收敛的缓慢,因为来自同一个图像的RoI是相关的.这种问题不是很实际,我们使用N=2 R=128,使用比R-CNN更少的迭代,获得很好的结果

再详细这个栗子

在fine-tuning中,假如要得到128个RoI,
对于SPPNet而言,将从128张不同的图像中采样1(128 RoI /128 image)个RoI
这里SPPNet在fine-tuing中的样本是来自batch的128张图像的所有RoI打散后均匀采样的(RoI-centric sampling),这就导致每个batch的样本都是来自不同的图像

对于Fast RCNN而言,将从N个图像中采样128/N 个(128 RoI/N image,且N 小于128)个RoI.当N=2时候,即从两张图片各自采样128/2=64 个RoI.而这64个RoI 由于来自同一个图片,所以在forward与back-propagation中能实现计算与内存的共享.从而达到速度极大的提升.(image-centric sampling)

疑惑

1. Q: 为什么SPPNet采用这种训练方式
   A：sppnet是不用训练（fine-tuning）前面的cnn的

2. Q: 为啥 sppnet是不用训练（fine-tuning）前面的cnn的
   A:原文说是为了简单和训练快

3. SPPNet 采用的这种训练策略再RCNN中有说到

In each SGD iteration, we uniformly sample 32 positive windows (over all classes) and 96 background windows to construct a mini-batch of size 128

参考

https://cloud.tencent.com/developer/article/1441556