《深度学习理论与实战：提高篇》学习笔记-视觉篇--02

标题《深度学习理论与实战：提高篇》学习笔记-视觉篇–02

http://fancyerii.github.io/books/object-detection/

• R-CNN
  图片 --> 选择候选区域(Region Proposal 算法) --> 特征提取(CNN) --> 分类(SVM)
• Region Proposal
  Region Proposal算法的输入是一张图片，输出是多个可能包含物体的区域。一个“好”的Region Proposal算法应该召回率要高(不漏过)，准确率也要高(不输出明显不包含物体的区域)。
  滑动窗口实现：计算量过于庞大。
  Seletive Search算法：首先使用基于图的图像分割算法，根据颜色对图像进行分割。
  
  把原来的图片做更细(oversegment)的切分，然后通过聚类的方法来生成更多的候选区域。
  由oversegmented图片生成候选区域的算法为：
  （1）所有细粒度的分隔都加到候选区域里(当然分割不是矩形区域我们需要把它变成矩形区域)
  （2）在候选区域里根据相似度把最相似的区域合并，然后加到候选区域里
  （3）回到（1）不断的重复这个过程
  通过上面的步骤，会得到越来越大的区域，最终整个图片就是一个最大的候选区域。而计算两个区域的相似度会考虑颜色、纹理、大小和形状等特征来计算。
• 特征提取
  使用比较简单的alex网络来提取特征(2014)，当然我们也可以使用更加复杂的网络来提取特征。论文提取的特征是4096维特征。因为ImageNet训练数据的输入是227x227的GRB图像，而Region Proposal出来的图像什么大小的都有，因此我们需要把它缩放成227x227的。
• 分类
  每个候选区域都提取成4096维特征之后，可以用SVM分类器来判断它是否是猫，是否是狗。因为候选区域可能会有重叠，因此最后会使用non-maximum suppression方法来去掉重复的区域。
• 训练
  由于标注了Bounding box的训练数据较少，因此首先使用ILSVRC2012的所有图片进行Pretraining，然后使用标注的数据进行fine-tuning。因为ImageNet的图片是1000类的，而目标检测的类别是不同的，比如VOC数据集只有20类，而ILSVRC2013的检测任务类别是200类。因此我们把最后一个softmax换掉来进行fine-tuning。fine-tuning的数据怎么获得呢？比如对于一张图片，我们可能标注了(100,100,50,40)这个矩形区域是一条狗。我们可以使用Region Proposal算法找出很多候选的区域，如果一个候选区域和标注的区域的IoU大于某个阈值(比如0.5)，那么我们就认为这个区域就是狗，否则就不是狗。然后使用这些数据来fine-tuning这个卷积网络。
  接下来是给每个类别训练一个二分类的SVM分类器，它的输入就是上面的卷积网络的最后一个全连接层(4096)。这个分类器的训练数据怎么获得呢？和上面的fine-tuning类似，也是看Region Proposal的区域和标注区域的IoU，这个阈值是多少呢？通过交叉验证，发现最优值是0.3。
  这里的过程没有get到位？？？
• 优化
  对于Region Proposal出来的区域，如果被判断为猫，本文还使用了Bounding box技术来”改进“这个区域。因为Region Proposal使用的只是底层的一些颜色纹理等特征，所有它建议的候选区域可能会包括一些多余的像素，而Bounding-box regression会使用CNN的特征来预测，因此能够更加准确的判断物体的边界。使用了Bounding box回归后在VOC2010测试集合上能够提高mAP3.5个百分点。因为这项技术被后面的更新的所取代，所以这里不再介绍，对Bounding box回归细节内容感兴趣的读者可以参考论文的附录部分。