R-CNN 笔记

前言
1.本文重点是测试过程和训练过程两大模块，尽量用较少篇幅表达清楚论文算法，其他一些不影响理解算法的东西不做赘述
2.博客主要是学习记录，为了更好理解和方便以后查看，当然如果能为别人提供帮助就更好了，如果有不对的地方请指正（论文中的链接是我经过大量搜索，个人认为讲解最清楚的参考）

论文链接
代码链接
论文翻译

创新点
1.用CNN提取特征
2.迁移学习防止过拟合

数据集
1.大型识别数据集：ILSVRC（用于目标识别，只有类别标签）
2.小型检测数据集：PASCAL VOC（用于目标检测，既有类别标签，也有位置标签也就是边框）
注：PASCAL VOC太小，直接训练网络容易过拟合，需要先在ILSVRC数据集上训练网络的提取特征能力，再迁移到PASCAL VOC上

测试过程
1.待检测图片
2. 通过selective search生成2000个候选框(region proposals)
3.将每一个候选框框住的图片区域统一变换尺度为277x277，然后输入到cnn中提取特征，因为有2000个候选框，所以输出特征维度是2000x4096
4.将上一步的输出特征输入到SVM中，得到2000*20的输出，其中20就是某个框里面可能类别对应的得分
5.对每个类别分别进行非极大值抑制，也就是对上一步输出2000x20中的每一列分别进行，经过处理，剩余得分高一些框
6.因为上一步剩余的框是selective search生成的，所以要进行边框回归(Bounding-box regression)，使这些框的位置更准确
注：
1）测试过程2：这些候选框大致包含了目标，但是位置不够准确而且还没有类别信息
2）测试过程3：卷基层啥尺度的输入都行，全连接层需要固定输入尺寸
3）测试过程4：每个类别都有一个SVM，有多少类就有多少个SVM，这里认为有20类，权重为4096x20

训练过程
(训练分为特征提取网络CNN的训练、SVM的训练、边框回归的训练)
1.CNN的训练
1)在ILSVRC上进行预训练，训练网络对图片的特征提取能力
2)在PASCAL VOC上进行微调，进一步训练网络对检测数据集图片的特征提取能力
微调数据集样本划分（参考）
正样本：gt(人工标注的框)和2000个候选框中与gt的IOU大于0.5的候选框
负样本：2000个候选框中与gt的IOU小于或等于0.5的候选框
注：
1）预训练模型输出为1000类，微调前改为21类
2.SVM的训练
用于分类，每个类别训练一个SVM，数据集跟微调相同
样本划分
正样本：gt
负样本：2000个候选框中与gt的IOU小于0.3的候选框
注：
1）微调和SVM正负样本阈值不同是因为微调网络是训练cnn的提取特征能力，如果数据少会导致过拟合，所以阈值为0.5,；而SVM也就是支持向量机，特点就是需要的数据少，阈值为0.3，而且正样本只有gt
2）没有选择微调网络直接接softmax进行分类，而是额外训练SVM进行分类，是因为作者通过测试发现SVM效果更好
3.hard negative mining:首先是negative，即负样本，其次是hard，说明是困难样本，也就是说在对负样本分类时候，loss比较大（label与prediction相差较大）的那些样本，也可以说是容易将负样本看成正样本的那些样本，例如roi里没有物体，全是背景，这时候分类器很容易正确分类成背景，这个就叫easy negative；如果roi里有二分之一个物体，标签仍是负样本，这时候分类器就容易把他看成正样本，这时候就是had negative。hard negative mining就是多找一些hard negative加入负样本集，进行训练，这样会比easy negative组成的负样本集效果更好。主要体现在虚警率更低一些（也就是false positive少）
3.边框回归的训练
样本：与gt的IOU最大的候选框，并且IOU要大于0.6(有大神说0.6这个条件没必要)

R-CNN缺点
1.测试一张图片的2000的候选框都要通过卷积网络，而且可能很多区域重复计算，速度太慢
2.训练需要分模块进行，复杂