Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression阅读笔记

（一）Title

前言:博主查找改进IoU Loss的论文，没有找到2020年的相关论文，仅仅找到3篇论文，分别对应着IoU Loss，GIoU Loss,DIoU/CIoU

• UnitBox: An Advanced Object Detection Network(IoU Loss,2016)
• Generalized Intersection over Union: A Metric and ALoss for Bounding Box Regression （GIOU Loss; CVPR2019）
• Distance-IoU Loss:Faster and Better Learning for Bounding Box Regression（DIOU Loss & CIoU Loss ; CVPR2019）

本篇文章主要基于GIoU Loss。作者在文中指出利用bounding box属性(长宽等)以及L1,L2等距离损失函数进行回归，度量IoU之间并没有一个很强的相关性

（二）Summary

Intersection over Union(IoU)是目标检测benchmarks中最常用的评估指标。然而，借助常用的距离损失函数$smoothl1,l1$以及$MSE$bounding box的参数，和度量(IoU)最大化之间存在着一定的差异

从上图中可以看出，尽管distance loss的值是相同的，但IoU之间仍然存在着较大的差异，不过同时也可以看出，作者使用的GIoU和真实IoU之间存在很小的差异。

接着作者提出：The optimal objective for a metric is the metric itself。

可是使用IoU作为回归目标，若两个bounding box之间没有交集，也就是IoU的值为0，此时是无法利用IoU来进行优化的。

因此，作者在本文中引入既作为新损失又作为新度量的generalized IoU (GIoU) 来解决IoU存在的问题。

本文的主要贡献：

• 作者将IoU进行扩展，得到Generalized IoU，作为两个任意形状之间的度量
• 并且作者提出的GIoU可以作为两个轴对齐(axis-aligned)矩形的损失函数
• 将GIoU引入到当前的目标检测框架Faster R-CNN，Mask R-CNN以及YOLO v3中，能够实现性能上的提升

（三）Research Object

本文主要研究目标是将IoU扩展到overlap为0的情况下也可以进行优化，同时指出GIoU既可以用作损失函数，又可以用作一种度量，并通过实验证明了相比于传统的使用distance function回归bounding box参数以及IoU Loss上存在的优势。

（四）Problem Statement

由于目标检查任务使用的度量为IoU，而目前大多数的工作是使用bounding box的属性(x,y,w,h)结合distance loss function(Smooth L1,L2,L1)来进行的回归，作者指出使用上述的回归方式和真正的IoU之间并没有存在着较强的 相关性，因此，作者借助The optimal objective for a metric is the metric itself的思想将IoU作为目标函数。

不过作者指出使用IoU作为目标函数，存在着bounding boxes不相交时无法进行优化的问题，因此，作者将IoU的概念进行扩展到bounding box不重叠的情况下，

作者指出，在进行扩展时需要满足的3个条件：

• 首先要和IoU具有相同的定义，也就是需要将被比较的两个boxes的形状属性(宽，高以及位置)等编码到区域属性(region property)上
• 需要保留IoU的尺度不变性
• 在bounding box重叠情况下，保持和IoU之间的强相关性

因此，本文的目的在于，如何引入一个和IoU具有强相关性的损失函数，并且不会存在IoU在bounding box不重叠时无法进行优化的问题?。

（五）Method

5.1 GIoU

对于两个任意的convex shapes $A,B\subseteq \mathbb{S}\in {\mathbb{R}}^n$,首先找到包含$A$和$B$的两个最小凸集$C\subseteq \mathbb{S}\in {\mathbb{R}}^n$

关于C的说明说下：当比较两个特定类型的几何形状时，C可以来自同一个类型，也就是说对于两个任意椭球，C可以是包围它们的最小椭球

我们计算$C$(不包括A和B)占据的体积(面积)除以C占据的总体积(面积)之间的比率。然后从IoU值中减去该比率来获得GIoU。如上图所示。

并且GIoU满足之前所提到的度量的所有性质，并且GIoU是IoU的一个下界：

$\forall A,B\subseteq \mathbb{S},\mathrm{GIoU}(A,B)\le \mathrm{IoU}(A,B)$，并且当A和B的形状和位置非常接近时，GIoU的值将无限逼近IoU的值，${\lim }_{A\to B}\mathrm{GIoU}(A,B)=\mathrm{IoU}(A,B)$
我们知道$\forall A,B\subseteq \mathbb{S},0\le \mathrm{IoU}(A,B)\le 1$,而$\forall A,B\subseteq \mathbb{S},-1\le \mathrm{GIoU}(A,B)\le 1$,
当$|A\cap B|=|A\cup B|$时，$\mathrm{GIoU}(A,B)=\mathrm{IoU}(A,B)=1$
当${\lim }_{\frac{|A\cup B|}{|C|}\to 0}\mathrm{GIoU}(A,B)=-1$,也就是说$|A\cup B|$在$|C|$中占非常小的一部分时。

GIoU可以用于损失和度量函数

（六）Experiments

6.1 YOLOv3

使用YOLOv3作者发布的YOLO v3版本实现，backbone为Darknet608，使用MSE损失进行训练，同时使用相同的训练策略，作者进行的调整，主要是将bounding box回归和使用IoU和GIoU损失进行替换，这部分在源码上的改动是非常少的
在PASCAL VOC 2007上的表现结果

使用GIoU Loss能进一步提升AP的表现。
在MS COCO上的表现结果
COCO 2014验证集上的表现

提交到测试服务器上的表现结果

在类别损失和average IoU上的表现

可以看出在精度上取得了较好的效果，不过存在着类别loss收敛问题，作者认为这主要是由于分类和IoU损失权重参数没有进行很好的设置导致的。

6.2 Faster R-CNN and Mask R-CNN

训练策略

• 使用Facebook最新的关于Faster RCNN和Mask R-CNN的实现
• backbone使用ResNet-50
• 在IoU损失和分类损失以及segmentation损失权衡之中，作者将${\mathcal{L}}_{IoU}$和${\mathcal{L}}_{GIoU}$分别乘上10倍

实验结果

使用GIoU Loss的提升相比于IoU Loss要有改进，同时，可以在下图中观察出来

其他的几个表现结果




和YOLOv3的结果相比，在Faster R-CNN以及mask R-CNN中的提升要小不少，作者分析原因是

• 首先，Faster R-CNN和mask R-CNN 上的检测anchores比YOLO v3 更密集，导致${\mathcal{L}}_{GIoU}$作为对非重叠边界框的扩展，比${\mathcal{L}}_{IoU}$具有优势的情况不太常见。
• 在PASCAL VOC中，bounding boxes的参数进行了naively tuned，导致了在COCO上的结果是次优的。

（七）Conclusion

作者提出的GIoU，既可以作为Loss函数，解决了IoU在没有overlap时存在的无法优化的问题，同时也可以作为一个度量用在目标检测任务中。作者的feature work是在旋转框中引入GIoU。

（八）Notes

8.1 提升深度学习在应用中的性能的方法

• 修改backbone
• 修改局部特征提取的方法

The dominant trend for improving performance of applications utilizing deep neural networks is to propose either a better architecture backbone or a better strategy to extract reliable local features.

然而，存在着另一个常常被忽略的提升方法是：使用IoU作为损失。

8.2 关于IoU的介绍

Iou,又称为Jaccard指数：是比较两个任意形状之间相似性的最常用指标。
$$IoU=\frac{|A\cap B|}{|A\cup B|}$$
其中$A,B\subseteq \mathbb{S}\in {\mathbb{R}}^n$

将IoU用作很多2D/3D计算机视觉任务中的原因在于

• IoU可以看成是衡量两个任意形状之间的距离度量，损失函数可以记作${\mathcal{L}}_{IoU}=1-IoU$，而且损失函数${\mathcal{L}}_{IoU}$满足一个度量(metric)的所有属性:非负性，indentity of indiscernibles(当且仅当两个任意形状的objects形状完全相同时，值为0)，对称性以及三角不等式
• IoU具有尺度不变性(invariant to the scale)

然而IoU存在着的问题是：

当$|A\cap B|=0$时，IoU没有办法reflect两个shapes之间是彼此靠近还是彼此距离很远

IoU在比较时编码了目标的属性(包括长，宽以及位置信息)，基于面积计算出一个归一化的数值，在segmentation，object detection，tracking中都依赖这个度量指标。
IoU用于确定一组预测中的true positive和false positive率，并且必须要选定一个阈值。

8.3 使用xywh以及distance Loss进行回归存在的问题：

• 和IoU之间并没有存在较强的相关性，也就是distance loss对应的局部最小值未必就是IoU度量下一个一个局部极大值
• 使用xywh以及distance loss进行回归时，xy是定义在位置空间(location space)上,而wh则是定义尺度空间上的(size space)

8.4 将IoU引入Loss中的一些研究工作

• 用approximate function或者surrogate loss来优化IoU
• 直接或者间接结合IoU来更好地执行bounding box回归，然而在bounding box非重叠情况下，往往采用近似方式或者是IoU的值取0

8.5 如何将GIoU用作损失函数

首先指出GIoU存在的一个问题是找到两个任意形状之间的交集以及最小闭包是不存在解析解的
很幸运的是，对于2D的目标检测，作者可以证明GIoU的计算可以被简化，原因在于两个aligned axis的交集和最小闭包都是矩形，因此可以通过最大/最小顶点坐标来得到GIoU的交集和最小闭包

在反向求导中，max，min以及piece-wise linear functions比如ReLU都是可行的，从上图中可以看出，每一个部分都是可导的，并在即使在bounding box没有交集的时候，仍然存在着梯度。

上面的图是10K个随机生成的2维矩阵之间的IoU和GIoU的对应图，可以看出在高IoU值时，GIoU与IoU有很强的相关性,同时在box低重叠情况下，$IoU\le 0.2和GIoU\le 0.2$时，GIoU的变化显然要更加显著一些，在这些情况下，与IoU相比，GIoU在任何可能的状态下都可能具有更陡的梯度,因此即使是使用IoU作为度量，使用GIoU作为损失函数，是比IoU更加好的一个选择

Loss的稳定性问题
Ground Truth box $B^g$的面积是大于0的，也就是$A^g>0$,

对于任何一个预测框$B^p=\left(x_1^p,y_1^p,x_2^p,y_2^p\right)$来说，算法2中的1和4保证了预测矩形的面积$A^p$以及他们的交集$\mathcal{I}$是非负的，也就是$A^p\ge 0\text{ and }\mathcal{I}\ge 0，\forall B^p\in {\mathbb{R}}^4$成立，由于两个box的面积都是大于0的，因此，两个box的并集$\mathcal{U}>0$,因此IoU的分母一直为正的，并且$\mathcal{I}\le \mathcal{U}$,也就是说IoU对应的损失值${\mathcal{L}}_{IoU}$总是有界的,$0\le {\mathcal{L}}_{IoU}\le 1\forall B^p\in {\mathbb{R}}^4$
而GIoU相比于IoU而言，仅仅似乎多了一项$\frac{A^c-\mathcal{U}}{A^c}$，接下来需要说明这一项也是有界的
由于$A^c$是$B^g$和$B^p$最小闭包的面积，因此，一定存在着$A^c\ge A^g>0$,因此分母的值总是正的，同时易知$A^c\ge \mathcal{U}$,故可以得到$0\le {\mathcal{L}}_{GIOU}\le 2,\forall B^p\in {\mathbb{R}}^4$
考虑当IoU为0时，定性分析$L_{GIoU}$损失的变化情况：此时${\mathcal{L}}_{GIoU}=1-GIoU=1+\frac{A^2-U}{A^c}-IoU$,由于$IoU=0$,因此我们可知两个box之间的交集大小$\mathcal{I}$同样为0，因此，此时的${\mathcal{L}}_{GIoU}=2-\frac{\mathcal{U}}{A^c}$,而此时的$0\le \frac{\mathcal{U}}{A^c}\le 1$,这里由于两个box不相交，因此，$\mathcal{U}=A^g+A^p$,而对于网络来说，只能改变的是预测框的输出，为了使得损失减小，可以令$A^p$面积不断增大，这样会使得$A^p$在$A^c$中的比例接近1，从而使得$B^p$的预测框沿着某个方向进行移动，导致出现overlap的情况。