子知识点
SS:
step0:生成区域集R,具体参见论文《Efficient Graph-Based Image Segmentation》
step1:计算区域集R里每个相邻区域的相似度S={s1,s2,…}
step2:找出相似度最高的两个区域,将其合并为新集,添加进R
step3:从S中移除所有与step2中有关的子集
step4:计算新集与所有子集的相似度
step5:跳至step2,直至S为空
IOU:
1.判定两个候选框是否存在交集
2.判定两个候选框是否为同一物体
3.IOU = (A∩B)/(A∪B)
4.若IOU高于设定阈值 认为两个框重叠太多 对比2个候选框svm回归后的概率 淘汰概率低的框
ROI:
1.比如一个100×100的特征图和一个150×150的特征图
2.划定一个10×10的网格
3.按照划定的网格 去原特征图上划分为10×10
RPN:
设定一张500x500的图片,经过cnn提取为5x5大小的特征矩阵,对于这5x5中每一个值对应原图中的感受野为~,按照这个思路,在原图中对应n个不同形状的anchor,每个anchor负责检测其范围内是背景还是物体,以及坐标的调整
RCNN: (所有候选图全部送入网络提取特征,svm分类,回归器调整候选框)
step1 :将ss提取的所有区域(约2000个)全部送入CNN中提取feature map
step2.1 :得到2000 × 4096 特征矩阵
step2.2 :通过 SVM 4096 × 20 的权值矩阵进行分类
step2.3 :[2000 , 4096] × [4096 , 20] -> [2000, 20]
step3 :对[ 2000 ,20 ] 这2000个候选框进行非极大值抑制,得到得分最高的一些候选框
step4 :通过回归器修正最后的候选框位置(矫正gt与pred的损失)
FastRCNN:(通过一次cnn替代2000次cnn,ROI缩放到同一尺寸进行回归且直接回归分类和候选框)
step1 :将整张图片放入网络提取一个feature map ss提取的所有区域(约2000个)直接映射到feature map上
step2 :将2000个特征矩阵通过ROI pooling 缩放到7×7 通过IOU对比gt与2000个候选框选取出大于阈值的N个
step3 :直接通过全连接层得到 [N, 20]的分类 并且得到 [N,(N+1)×4)]个边界框回归参数
FasterRCNN:(FPN替代SS,直接回归分类和候选框)
step1 :整张图片放入网络提取一个feature map ,feature map放入FPN中得到N个anchor
step2 :对anchor进行回归分类