fast rcnn的理解

结构

输入是一张图像。图像输入有两个去处。往右，作为卷积神经网络的输入，生成一个feature map;往下，使用selective search，生成大约2000个proposal。每个proposal按照位置关系，从输入图像映射到feature map，在feature map上得到相同数量的小区域，称为RoI(region of interest)。每个RoI经过RoI pooling，得到尺寸固定为(H*W)的特征图。RoI pooling使用的是max pooling，具体操作为：假设输入的RoI的尺寸为（h*w),那么max pooling的滑窗大小为（h/H,w/W）,滑窗滑动不重叠，也就是水平步长为w/W，竖直步长为h/H，对每个滑窗内取最大值作为输出。每个RoI经过RoI pooling，得到尺寸固定为(H*W)的特征图后，又经过两个全连接层，得到一个向量，称为RoI feature vector。这个向量随后分别作为分类分支和bounding box回归分支的输入。分类分支中，经过一个全连接层，得到一个M维的向量，表示分类得分，M代表类别个数。bounding box回归分支中，经过一个全连接层，得到一个M*4维的向量，代表M个类别的bounding box的参数（r,c,h,w:左上角的坐标，高，宽），每个bounding box有4个参数，所以是M*4维的向量。

训练

使用mini-batch gradient descent训练。mini-batch的大小为R，是从N张照片中采样出来的R个RoI，则每张照片采样R/N个RoI。

loss定义：

i代表mini-batch中的第i个RoI。代表预测概率，代表ground truth的概率。左边一项计算分类得分的损失值，右边计算bounding box回归的损失值。左边计算的是常见的交叉熵。右边式子中Lreg = smoothL1: 

loss的第二项中的和的定义见下方

 

 x,y,w,h是框的中心点坐标，宽度和高度。x,xa,分别是预测值，proposal的值和ground truth的值。