英文原文链接: link.
前言:KaimingHe大神组2015年NIPS上的经典paper《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》
基本思想
一脉相承的rnn未摆脱传统候选区域算法(如Selective Search)的限制,所以诞生了Faster R-CNN
Faster R-CNN = RPN(产生快速候选区域)+Fast R-CNN检测器(分类与边框回归)
共享卷积特征图 = RPN网络的输入 = Fast R-CNN的输入
RPN=FCN =
1输入一张图像WH,有WH个anchor
以下为每个anchor:
2卷积成256-d
3.1全连接层1输出k个候选框/每个anchor(x,y,w,h,k)【9个基准矩形框={128128, 256256, 512512}{1:1, 1:2, 2:1}】
3.2 全连接层2输出分数(P前景,P背景,k)
损失函数:多任务=类别置信度和修正参数
Fast R-CNN检测器=分类回归网络=输入:特征图+RPN候选区域 输出:候选区域类别的置信度和修正参数【参照前面fast】
后处理:SVM
训练
细节:
1 RPN:ImageNet+fine tune
2 Fast R-CNN检测器:利用1中的RPN前向roi ,训练更新整个检测器
训练集:正样本 = Ground turth与anchor的ROI大于0.7;负样本 = Ground turth与anchor的ROI小于0.3(剩余不用)
3 Fast R-CNN检测器的共享卷积特征图更新后,RPN实际上也更新了,冻结共享卷积,只训练RPN的全连接层
4 新的RPN前向roi,只训练Fast R-CNN网络特有的全连接层。