一、faster cnn框架流程
1.在特征图上使用3*3的卷积核(滑动窗口)与特征图进行卷积,那么这个3*3的区域卷积后可以获得一个256维的特征向量。因为这个3*3的域上,每一个特征图上得到一个1维向量,256个特性图即可得到256维特征向量。3*3滑窗中心点位置,对应预测输入图像3种尺度(128,256,512),3种长宽比(1:1,1:2,2:1)的regionproposal,这种映射的机制称为anchor,产生了k=9个anchor。
2.后边接入两个全连接层,即cls layer和reglayer分别用于分类和边框回归。clslayer包含2个元素,用于判别目标和非目标的估计概率。reglayer包含4个坐标元素(x,y,w,h),用于确定目标位置。cls:正样本,与真实区域重叠大于0.7,负样本,与真实区域重叠小于0.3。reg:返回区域位置
3.最后根据region proposal得分高低,选取前300个region proposal,作为Fast R-CNN的输入进行目标检测
二、faster cnn总结
1.优点:
2.分析:RPN的核心思想是使用卷积神经网络直接产生region proposal,使用的方法本质上就是滑动窗口
(1)faster rcnn把region proposal也放在网络里完成(RPN),这样整个框架都可以在一个网络里运行。
faster rcnn主要认为selective search只能跑在cpu,不能跑在gpu上,所以提出了rpn来得到proposal。
一般selective search会产生2000个proposal,但rpn就几百个。
(2)4步训练算法,通过交替优化来学习共享的特征:
a.使用在ImageNet上预训练的模型初始化RPN网络参数,微调RPN网络;
b.使用(a)中RPN网络提取region proposal训练Fast R-CNN网络,也用ImageNet上预训练的模型初始化该网络参数;(现在看来两个网络相对独立)
c. 使用(b)的Fast R-CNN网络重新初始化RPN, 固定卷积层进行微调,微调RPN网络;
d.(4) 固定(b)中Fast R-CNN的卷积层,使用(c)中RPN提取的region proposal对Fast R-CNN网络进行微调