一、目标检测是什么
最小外接矩形,也就是最后要回归的目标,也要打上一个标签,且希望和实际情况越接近越好。
实例分割要显示每一个像素属于谁,更加复杂。
YOLO之前的模型都是两个步骤:
- 提取一些可能有目标的区域
- 识别区域中的是什么类别
二、RCNN
输入一张图像
→
\to
→ 利用特定方法生成大约2k个框,这些框包括所有可能成为候选框的区域(形状都不同,只是保证其是个矩形)
→
\to
→ 将框进行统一尺度
→
\to
→ 进行一些数据增强
→
\to
→ CNN 特征提取(从某一层出来的特征保留)
→
\to
→ 送入SVM 进行分类,送入回归进行b-box的回归。
先对分类模型进行预训练,之后将SS生成的所有的一块一块的区域对模型微调,21、201(包含1个背景)是用到不同数据集,里边类别的多少就不同。
预训练后需要修改的:
- 目标函数 loss
- softmax的1000个输出,改成N+1个输出(检测的类别数)
- 正样本(N类):所有类别中,框和GT的IoU>=0.5的看成正样本
- 负样本(1类)):背景/没有框完整的,IoU<0.5
底层的特征是越通用的,越往上是越专用的,如果数据量小的话就只训练下面绿色的就可以,如果数据集较大的话,就训练下面两个模块即可。
在M’的基础上,第七层是全连接层,将这个4096维的特征拿出来送入SVM中,使用的SVM是二分类器,正样本是某一类,负样本是除该类以外的所有类(包括背景)。
SVM训练完之后,可能会出现负样本概率也大于0.5,将这些收集起来,重新训练一下。
在fine-tuning之后的模型的第五层上训练回归模型,回归的目标是把SS滑出来的框和真实框(G)做一个回归,每一类单独回归,也就是SS 回归得到的猫的框(P)和猫的真实框做回归,每一类训练一个回归模型。
P 的要求:SS 选出来的框和 GT 框的 IoU >0.6,
输入的是第五层输出的特征,而不是坐标,输出是SS和GT的差值。
目标函数是最大化,定义了一个回归的模型,就是P和G平方差最小。
评价有两重精度:
- 某个类的平均精度:AP,PR 曲线下的面积,即 P 对 R 的积分。
- 所有类的平均精度求和/类别数,即所有类的平均精度的平均值。
AP: 单个类别的效果
当把上面的第一条线当做阈值,上面的都当做飞机,下面的都不当做飞机,则此时准确率很高,召回率不高,当把第二条线当做阈值时,准确率降低,召回率变高。这就是 PR 曲线。PR 曲线下的面积就是综合考虑 P 和 R 得到的结果。
mAP: 所有类别的效果的均值
三、SPPnet
RCNN:先对框中内容进行裁剪或拉伸,再进行卷积
SPPnet:先对整幅图像进行卷积,再进行SPP 操作
对输入进行4x4/2x2/1x1的最大池化,即所有的小区域都可以被划分成相同大小的像素级联,方便全连接层。
为什么可以先卷积,后 SS:因为卷积后特征的相对位置不变,即可以先卷积,然后在找到对应的框,提取特征图特征。
fine-tuning过程也有差别:预训练
→
\to
→ SPP 处理
→
\to
→ 使用 SPP 特征来微调全连接层,不能微调卷积层,其他的过程和 RCNN 一样。
SPP :特征提取时间很大的变短了,但仍然是分类和回归分别训练,但不能微调卷积层参数(感受野太大,效率太低等)。
四、Fast R-CNN
R-CNN 和 SPP 都是训练两个头,而 Fast R-CNN 实现了多任务损失,取消了 SPP 模块,使得所有层的参数都可以fine-tuning。
首先:全图做卷积,提取region proposal
其次:把第五层的卷积输出,和 region proposal 送入RoI pooling层
再次:把分类和回归头使用一个损失函数进行训练
RoI pooling:RoI pooling 是取了一个较细尺度的划分,来进行最大池化,再传入全连接层。
反向传播的不同:
红色的框是区域建议的框,绿色的框是人工标注的 GT ,回归问题就是将红色的框映射为绿色的框。
exp永远为正,用于保证训练完之后的值不会变成负的。
多任务损失:分类+回归损失
分类损失:u是类别,p是概率分布,分类正确时,pu=1,-logpu接近于0,pu分类错误时,pu=0.2,-logpu会较大,即分到u上的概率要尽可能的大。
回归损失:当物体类别为背景时,就不存在回归问题了,故要先应用指示函数
smooth_L1:当x非常大的情况,相当于是离群点,会使得这批数据回归出现问题,故让离群点的影响小一点,即x较大时,让输出为 |x|-0.5,而不用平方。
batch:图片数量为2,每个图片中的 RoI 为64,此时 batch size 为128。
物体和背景的平衡:物体占1/4,背景占3/4。希望两者数据量平均点,样本量偏的太厉害会有问题,因为正向样本较少。
全连接层数据量大,故其采用了 SVD,将其分解为两个矩阵,也就是将全连接模型进行压缩,然后在重现出来,总的权重数量减少,加速运算。
Fast RCNN的速度和性能都很好:
Fast R-CNN 的局限:
五、Faster R-CNN
RPN:量少质优
输入的图像经过卷积获得第五层卷积特征
→
\to
→ 3x3的卷积核
→
\to
→ 得到256维的卷积层
→
\to
→ 对256维的特征图分别进行两个不同的 1x1的卷积过程
→
\to
→ 一路进行分类,得到 2k 个得分(是物体/不是物体,k一般为9,也就是18,1x1x256x18),另一路进行回归,得到4k个参数(r/c/w/h)
→
\to
→ 将两者结合起来
候选框来源:
尺度:表示原始图像上的物体
纵横比:1:1,1:2,2:1
在候选框基础上,再做分类和回归。
损失函数:
训练:
- 先训练 RPN ,输出候选区域
- 将候选区域给到 Fast R-CNN 里边去,初始化仍然是 Imagenet 的参数
- 将第二步训练好的权重,作为第三层卷积层的初始化,固定住卷积层的参数,微调RPN自己的参数,也就是 RPN 此时给出的建议可能会比之前的那个更好点。
- 固定卷积层,微调剩余层。
R-CNN 系列总结:
RoI-wise:基于RoI层所衍生的一些东西
CNN 的全卷积化趋势,因为全连接层参数太多。
CNN 一开始是用于分类的,所以对分类的性能是挺好的,即便是目标物体位置改变,卷积之后输入全连接层,也对分类结果影响不大。
但对于定位网络,全连接层是将整个图像的特征进行列向量话,肯定会对位置产生一定的影响,所以不希望回归网络最后是全连接网络。
六、R-FCN
R-CNN:一旦有个框,就要卷积一遍
SPPnet:先卷积,再找框,框又要单独的一个个过子网络,再做全连接
R-FCN:全卷积网络
变换敏感性:
- 引入位置敏感分值图,score map(核心)
- 分值图上做的一个位置敏感池化处理(纵向的若干层,变成横向位置上的差异)
主干网络:resnet-101
卷积之后,一个分支输入RPN,另一个分支就是位置敏感分值图,黄色是找A类的特征,绿色的是找B类的特征,等等等,无论物体在哪个问题,只要哪个层是用来判断该物体的层,就能够检测出来那个物体,纵向的综合起来,然后投票,就能得到其是哪一类。
每一个片都代表C个物体的类+1个背景的类,每个类别都有k^2个score map,之后叠加起来,最后才用上 RoI。
七、YOLO v1
YOLO v1 最多能识别九千个类别
之前的工作似乎都是做两件事,一件是分类,一件是定位,YOLO 是把所有的问题都当做回归问题来解决。
每一个图化成7x7的块,判断哪个块属于哪一类。
resize:让网络能够找到较小的物体
网络结构:
输入
→
\to
→ GoogLeNet(简化成20层)
→
\to
→ 卷积和全连接层(fully connection)
→
\to
→ reshape
→
\to
→ 输出最终结果,三维数据块7x7x30(前两维是划分的块,第三维是)
输入的维度:上采样的图片
输出的维度:7x7x30
B:2(两个b-box)
5:位置(四个值)和置信度
C:20个目标类别
两个b-box,一个宽的,一个窄的。
公式:confidence=Pr(object)*IoU
Pr:是一个目标的概率
IoU:GT的框和预测的b-box的IoU
30个值:
前10个:两个框,每个框预测5个值(定位和置信度),全都是归一化的
后20个:针对每个类别的概率(Pr(class|object)),已知是目标的情况下,是哪一个类别的概率。
测试阶段:
蓝色框:首先判断定位定的准不准,平方在括号外边,都是坐标的协调系数,没有改两者的协调系数。
红色框:1——指示函数,是目标是1,不是目标是0,之后置信度相减
黄色的框置信度肯定很高,绿色的框和黄色框重合度较大,所以将重合度大于一定阈值的剔除。
判断类别:
98个box:7x7x2
C:b-box里边是否还有目标的置信度,做一个阈值处理,之后做NMS
NMS:不考虑具体是什么类别,先考虑重合且分数没有他高的框去掉。
优点:
一共只有98个候选框,故检测物体的速度快;
不是目标而判断成目标的情况较少;
能学到更加抽象的特征。
缺点:
精度低;
定位较差;
小物体检测不好,因为一个栅格只预测2个物体,再经过NMS,可能就只能预测一个物体。
八、YOLO v2
在 YOLO v1上做了7个改变:
- BN
- 高精度分类器,v1中使用的预训练好的模型是基于256x256训练得来的,v2中使用高精度图像来预训练,能够更好的发现小目标
- 添加了 anchor ,v1用了两个,多了anchor能够使得召回率明显提升
- 使用 k-means 方法来训练了 b-box,找到更合适的b-box的宽高比,有5类是比较明显的,故选择了5个b-box,这些b-box各自是不同的尺寸,瘦高型的较多。
将 Imagenet 和 coco 结合起来了,一共9000个分类。
九、YOLO v3
- 损失函数改变,sofrmax只能输出最大的,Logistic loss 可以多分类,有得分。
- V3使用了3个anchor,分层级的变成了9个
scale1预测大尺度目标,scale2预测中间尺度目标,scale3预测小尺度的目标。