[目标检测]——R-CNN算法

不使用暴力方法,而是用候选区域方法(region proposal method),创建目标检测的区域改变了图像领域实现物体检测的模型思路,R-CNN是以深度神经网络为基础的物体检测模型,以R-CNN为基点,后续的SPPNet、Fast R-CNN、Faster R-CNN模型都是照着这个物体检测思路。

R-CNN引入了候选区域,为目标检测提供了一种新的思路。

注:R-CNN原论文中提到:默认找2000个候选区域

一、R-CNN步骤

  1. 对于一张图片,原论文中默认找出2000个候选区域
  2. 2000个候选区域做大小变换,输入到CNN(AlexNet)当中,得到特征向量
    1. 2000 x 4096个特征
  3. 经过20个类别的SVM分类器,对于2000个候选区域做判断,得到【2000, 20】得分矩阵
  4. 对2000个候选区域做NMS(non-maximum suppression),取出不好的,重叠度高的一些候选区域,得到剩下分数高的,结果好的
  5. 修正候选框(bbox),做一个bbox的回归微调

二、候选区域(Region of interest(ROI))得出

候选区域的得出是通过一个叫做选择性搜索(SelectiveSearch,SS)的算法来得到的

1、选择性搜索算法(SS)

在选择性搜索(SelectiveSearch,SS)中,首先将每一个像素作为一组。然后,计算每一组的纹理,并将两个最接近的组结合起来。但是为了避免单个区域吞噬其他区域,首先对较小的组进行分组。继续合并区域,直到所有区域都结合在一起。下图第一行展示了如何使区域增长,第二行中蓝色矩形代表合并过程中所有可能的ROI

三、CNN网络提取特征

SelectiveSearch在一张图片上提取出来约2000个候选区域,需要注意的是这些候选区域的长宽不固定。而使用CNN提取候选区域的特征向量,需要接收固定长度的输入,所以需要对候选区域做一些尺寸上的修改。

注:在候选区域的基础上提取出更高级、更抽象的特征,这些高级特征是作为下一步的分类器、回归的输入数据。

四、特征向量训练分类器SVM

  1. 假设一张图片的2000个候选区域,那么提取出来的就是2000 x 4096这样的特征向量(R-CNN当中默认CNN层输出4096维特征向量)
  2. R-CNN选用SVM进行二分类,论文中检测20个类别,那么会提供20个不同类别的SVM分类器,每个分类器都会对2000个候选区域的特征向量分别判断一次,这样得出【2000, 20】的得分矩阵,如下如所示:
    1. 如猫分类 器:即2000个候选区域做判断,得到2000个属于猫的类别

五、非极大抑制(NMS)

NMS的目的在于:筛选候选区域,目标是一个物体(图片当中真实被标记的物体)只保留一个最优的框,来抑制那些冗余的候选框

注:R-CNN预测2000个候选框,得到3个(比如有3个ground truth)比较准确的候选框

1、迭代过程

  1. 对于所有的2000个候选区域得分进行概率筛选,以0.5为基准
  2. 剩余的候选框
    1. 对于每个候选框,找出自己对应的GT(ground-truth)

2、IoU(交并比)<目标检测评估标准之一>

注:IoU是对物体位置的评估。

 IoU是一种测量在特定数据集中检测相应物体准确度的wwsss一个标准。IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IoU来进行测量。为了可以使IoU用于测量任意大小形状的物体检测,我们需要:

  • ground-truth bounding boxes(人为在训练集图像中标出要检测物体的大概范围),我们的算法得出的结果范围。
  • 也就是说,这个标准用于测量真实和预测之间的相关度,相关度越高,该值越高。如下图所示。绿色标线是人为标记的正确结果(ground-truth),红色标线是算法预测的结果(predicted)。
  • IoU是介于0到1之间的数值。

(1)IoU的计算

IoU是两个区域重叠的部分除以两个区域的集合部分得出的结果,通过设定的阈值,与这个IoU计算结果比较。

3、目标确定

假设现在滑动窗口有:A、B、C、D、E 这5个候选框

  1. 第一轮:对于右边的车辆,假设B的得分是最高的,与B的IoU > 0.5删除。现在计算与B的IoU,DE结果 > 0.5,则剔除DE,B作为一个预测结果
  2. 第二轮:对于左边的车辆,AC中,A的得分最高,与A计算IoU,C的结果 > 0.5,剔除C,A作为一个结果

注:最终结果为在这5个中检测出的两个目标A和B,也即在理想状态下,每一个Ground truth都有一个候选框预测

六、修正候选框

SS算法得到的物体位置已经固定了,但是我们筛选出的位置不一定真的就特别准确,需要对A和B进行最后的修正。为了解决这个问题,R-CNN提供了这样的方法,建立一个bbox regressor

  • 回归用于修正筛选后的候选区域,使之回归于ground-truth,默认认为两个框之间是线性关系,因为在最后筛选出来的候选区域和ground-truth很接近

修正候选框目的:为了让候选框标注更加准确,去修正原来的位置

因此,可以得出R-CNN的输出为:一张图片预测一个X候选框,x x w = y_locate

  • y_locate:是真正算法输出的位置

七、平均精确率(mean average precision)map

注:目标检测物体类别的评测。

训练样本的标记:候选框(如R-CNN中的2000个)标记

1、精确率(查准率)和召回率(查全率)

 (1)计算

精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。

召回率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。

八、R-CNN缺点

  • 训练阶段多,时间长,模型多,需要训练多个模型
  • 处理速度慢

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Star星屹程序设计

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值