RCNN--＞Faste RCNN--＞ Faster RCNN笔记

1.1Faster RCNN理论合集_哔哩哔哩_bilibili

RCNN

3-1

对于2000X4096矩阵：

每一行是一个候选框通过CNN网络得到的特征向量，有2000个候选框，所以有2000行

对于4096X20矩阵：

每一列代表一个类别，pascalVOC数据集是20类的，所以有20列,每一列代表每个类别的权值向量。（第一列代表所需检测的猫，第二列代表所需检测的狗）

对于2000X20矩阵：

第一行第一列代表：第一个候选框是猫的概率，第一行第二列代表：第一个候选框是狗的概率。

3-2

然后2000行是2000个框，有些框可以剔除，采用非极大值抑制的方法。

ROI 是感兴趣区域

比较网络： Fast-RCNN是整张图送进网络得到特征图，然后从特征图上提取候选区域。

以前是框出一块算一块，现在是全算完了再框，可以省去很多计算的时间。

 1，Deep ConvNet 把图片送入网络得到特征图

ROI projection 根据映射关系把特征图送入ROI pooling。

ROI pooling 统一缩放到指定尺寸

FCs是两个全连接层，在后面并联两个全连接，一个作为目标概率的预测（21个类），一个用来边界框回归参数的预测。

Faster RCNN

Faster RCNN 也就是把SS算法挑选的候选框变成了RPN 网络来挑选了。

RPN网络结构：（预测这个框是前景还是背景）

这里的特征图是从FasterRCNN 的backbone得出来的。

在这个特征图上放一个滑动窗口，然后得到一个特征向量（256-d）。

（anchor是框的意思）

然后通过两个全连接层，一个输出目标概率（2K，K 个anchor，一个是前景的概率，一个是背景的概率），一个输出边界框回归参数（4K，K 个anchor，每个有xywh）。

 每个点会有9个框

原文中是分别训练的，现在可以联合训练（官方的demo）