目标检测(九)——YOLO v3

YOLOv3: An Incremental Improvement

project page: https://pjreddie.com/darknet/yolo/
arxiv: https://arxiv.org/abs/1804.02767
github:https://github.com/pjreddie/darknet

这里写图片描述
  从上边的图片中就可以看出,YOLO v3最主要的提升网络的就算速度。YOLOv3能在22毫秒内完成处理,并取得28.2mAP的成绩。它的精度和SSD相当,但速度要快上3倍。 但是整体模型也变得复杂不少。

创新点

边界框的预测

  与之前yolo版本一样,yolov3的anchor boxes也是通过聚类的方法得到的。yolov3对每个bounding box预测四个坐标值 (tx,ty,tw,th) ( t x , t y , t w , t h ) ,对于预测的cell(一幅图划分成S×S个网格cell)根据图像左上角的偏移 (cx,cy) ( c x , c y ) ,以及之前得到bounding box的宽和高 pw,ph p w , p h 可以对bounding box按如下的方式进行预测:

这里写图片描述

  在训练这几个坐标值的时候采用了sum of squared error loss(平方和距离误差损失),因为这种方式的误差可以很快的计算出来。

分类预测

  作者使用二元交叉熵损失来代替softmax进行预测类别,这个选择有助于把YOLO用于更复杂的领域。Open Images Dataset V4数据集中包含了大量重叠的标签(如女性和人)。如果用的是softmax,它会强加一个假设,使得每个框只包含一个类别。但通常情况下这样做是不妥的,相比之下,多标记的分类方法能更好地模拟数据。

函数均方差二元交叉熵损失
公式 Lcrossentropy(o,y)=([ology](1o)log(1y)) L c r o s s − e n t r o p y ( o , y ) = − ( [ o l o g y ] ( 1 − o ) l o g ( 1 − y ) ) LMSE=12||oy||22=12(oy)2 L M S E = 1 2 ( ⁡ | ( ⁡ | ⁡ o − y ) | | 2 2 = 1 2 ( o − y ) 2
函数更新梯度的绝对值 ΔMSE=|oy||σ'(wh+b)||h| Δ M S E = | o − y | ⋅ | σ ′ ( w h + b ) | ⋅ | h | Δcrossentropy=|y0||h| Δ c r o s s − e n t r o p y = | y − 0 | ⋅ | h |

通过梯度绝对值对比能够发现
                  ΔMSEΔcrossentropy==|σ'(wh+b)|0.25 Δ M S E Δ c r o s s − e n t r o p y == | σ ′ ( w h + b ) | ≤ 0.25

  这个最小值0.25,就是斜率y′y′的最小值,直接对y′=y(1−y)=y−y2y′=y(1−y)=y−y2求导等于0,就可以发现y=12y=12的时候斜率最小,为0.25。而且,从sigmoidsigmoid函数可以发现,对于均方差MSE损失,输出越大,梯度越小。比如当真实标注为00的时候,y=σ(wh+b)y=σ(wh+b)越大,sigmoid的值越大,但是sigmoid的梯度越小,这也就导致了 Δcrossentropy Δ c r o s s − e n t r o p y 的梯度大(因为没sigmoid导数这一项),但是 ΔMSE Δ M S E 的梯度小(因为乘以了sigmoid较远的非常小的梯度)。
  具体细节可以查看——损失函数梯度对比-均方差和交叉熵

跨尺寸预测

  YOLOv3提供了3种尺寸不一的边界框。用相似的FPN(feature pyramid network)网络提取这些尺寸的特征,以形成金字塔形网络。在基本特征提取器中增加了几个卷积层,并用最后的卷积层预测一个三维张量编码边界框、框中目标和分类预测。在COCO数据集实验中,神经网络分别为每种尺寸各预测了3个边界框,所以得到的张量是N ×N ×[3∗(4+ 1+ 80)],其中包含4个边界框offset、1个目标预测以及80种分类预测。
  接着,从前两个图层中得到特征图,并对它进行2次上采样。再从网络更早的图层中获得特征图,用element-wise把高低两种分辨率的特征图连接到一起。这样做能使找到早期特征映射中的上采样特征和细粒度特征,并获得更有意义的语义信息。之后,添加几个卷积层来处理这个特征映射组合,并最终预测出一个相似的、大小是原先两倍的张量。  用同样的网络设计来预测边界框的最终尺寸,这个过程其实也有助于分类预测,因为可以从早期图像中筛选出更精细的特征。

  和上一版一样,YOLOv3使用的聚类方法还是K-Means,它能用来确定边界框的先验。在实验中,选择了9个聚类和3个尺寸,然后在不同尺寸的边界框上均匀分割维度聚类。在COCO数据集上,这9个聚类分别是:(10×13)、(16×30)、(33×23)、(30×61)、(62×45)、(59×119)、(116 × 90)、(156 × 198)、(373 × 326)。

特征提取器

  这次用了一个新的网络来提取特征,它融合了YOLOv2、Darknet-19以及其他新型残差网络,由连续的3×3和1×1卷积层组合而成,当然,其中也添加了一些shortcut connection,整体体量也更大。因为一共有53个卷积层,所以称它为 Darknet-53!
  

这里写图片描述
  这个新型网络在性能上远超Darknet-19,但在效率上同样优于ResNet-101和ResNet-152。下表是在ImageNet上的实验结果:

这里写图片描述

  每个网络都使用相同的设置进行训练,输入256×256的图片,并进行单精度测试。运行环境为Titan X。得出的结论是Darknet-53在精度上可以与最先进的分类器相媲美,同时它的浮点运算更少,速度也更快。和ResNet-101相比,Darknet-53的速度是前者的1.5倍;而ResNet-152和它性能相似,但用时却是它的2倍以上。

  Darknet-53也可以实现每秒最高的测量浮点运算。这意味着网络结构可以更好地利用GPU,使其预测效率更高,速度更快。这主要是因为ResNets的层数太多,效率不高。

失败尝试
1. Anchor box坐标的偏移预测。

尝试了常规的Anchor box预测方法,比如利用线性激活将坐标x、y的偏移程度预测为边界框宽度或高度的倍数。但发现这种做法降低了模型的稳定性,且效果不佳。

2. 用线性方法预测x,y,而不是使用逻辑方法。

尝试使用线性激活来直接预测x,y的offset,而不是逻辑激活。这降低了mAP成绩。

3. focal loss。

尝试使用focal loss,但它使的mAP降低了2点。 对于focal loss函数试图解决的问题,YOLOv3从理论上来说已经很强大了,因为它具有单独的对象预测和条件类别预测。因此,对于大多数例子来说,类别预测没有损失?或者其他的东西?并不完全确定。

4. 双IOU阈值和真值分配。

在训练期间,Faster RCNN用了两个IOU阈值,如果预测的边框与.7的ground truth重合,那它是个正面的结果;如果在[.3—.7]之间,则忽略;如果和.3的ground truth重合,那它就是个负面的结果。尝试了这种思路,但效果并不好。

参考

“营销号”式写作——YOLOv3:一项渐进式的更新
损失函数梯度对比-均方差和交叉熵

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值