IoU、GIoU、DIoU、CIoU损失函数的那点事儿

最新推荐文章于 2024-07-04 22:07:34 发布
最新推荐文章于 2024-07-04 22:07:34 发布
阅读量5.3k 收藏 27
点赞数 4

公众号关注 “视学算法”

设为 “星标”，DLCV消息即可送达！

来自 | 知乎            作者 | Error

https://zhuanlan.zhihu.com/p/94799295

仅作学术交流，如有侵权，请联系删文


一、IOU(Interp over Union)

1. 特性(优点)

IoU就是我们所说的交并比，是目标检测中最常用的指标，在anchor-based的方法，https://zhuanlan.zhihu.com/p/62372897中，他的作用不仅用来确定正样本和负样本，还可以用来评价输出框（predict box）和ground-truth的距离。

  1. 可以说它可以反映预测检测框与真实检测框的检测效果。

  2. 还有一个很好的特性就是尺度不变性，也就是对尺度不敏感（scale invariant）， 在regression任务中，判断predict box和gt的距离最直接的指标就是IoU。(满足非负性；同一性；对称性；三角不等性)

import numpy as npdef Iou(box1, box2, wh=False):    if wh == False:  xmin1, ymin1, xmax1, ymax1 = box1  xmin2, ymin2, xmax2, ymax2 = box2    else:  xmin1, ymin1 = int(box1[0]-box1[2]/2.0), int(box1[1]-box1[3]/2.0)  xmax1, ymax1 = int(box1[0]+box1[2]/2.0), int(box1[1]+box1[3]/2.0)  xmin2, ymin2 = int(box2[0]-box2[2]/2.0), int(box2[1]-box2[3]/2.0)  xmax2, ymax2 = int(box2[0]+box2[2]/2.0), int(box2[1]+box2[3]/2.0)    # 获取矩形框交集对应的左上角和右下角的坐标（interp）    xx1 = np.max([xmin1, xmin2])    yy1 = np.max([ymin1, ymin2])    xx2 = np.min([xmax1, xmax2])    yy2 = np.min([ymax1, ymax2])    # 计算两个矩形框面积    area1 = (xmax1-xmin1) * (ymax1-ymin1)    area2 = (xmax2-xmin2) * (ymax2-ymin2)    inter_area = (np.max([0, xx2-xx1])) * (np.max([0, yy2-yy1]))　#计算交集面积    iou = inter_area / (area1+area2-inter_area+1e-6) 　#计算交并比
    return iou

2. 作为损失函数会出现的问题(缺点)

  1. 如果两个框没有相交，根据定义，IoU=0，不能反映两者的距离大小（重合度）。同时因为loss=0，没有梯度回传，无法进行学习训练。

  2. IoU无法精确的反映两者的重合度大小。如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。

二、GIOU(Generalized Interp over Union)

1、来源

在CVPR2019中，论文

《Generalized Interp over Union: A Metric and A Loss for Bounding Box Regression》
https:arxiv.org/abs/1902.09630

的提出了GIoU的思想。由于IoU是比值的概念，对目标物体的scale是不敏感的。然而检测任务中的BBox的回归损失(MSE loss, l1-smooth loss等）优化和IoU优化不是完全等价的，而且 Ln 范数对物体的scale也比较敏感，IoU无法直接优化没有重叠的部分。

这篇论文提出可以直接把IoU设为回归的loss。

上面公式的意思是：先计算两个框的最小闭包区域面积_  _(通俗理解：同时包含了预测框和真实框的最小框的面积)，再计算出IoU，再计算闭包区域中不属于两个框的区域占闭包区域的比重，最后用IoU减去这个比重得到GIoU。

附：

https://github.com/generalized-iou/g-darknet

2、 特性[1]

  • 与IoU相似，GIoU也是一种距离度量，作为损失函数的话，  ,满足损失函数的基本要求

  • GIoU对scale不敏感

  • GIoU是IoU的下界，在两个框无线重合的情况下，IoU=GIoU

  • IoU取值[0,1]，但GIoU有对称区间，取值范围[-1,1]。在两者重合的时候取最大值1，在两者无交集且无限远的时候取最小值-1，因此GIoU是一个非常好的距离度量指标。

  • 与IoU只关注重叠区域不同，GIoU不仅关注重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度。

def Giou(rec1,rec2):    #分别是第一个矩形左右上下的坐标    x1,x2,y1,y2 = rec1    x3,x4,y3,y4 = rec2    iou = Iou(rec1,rec2)    area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4))    area_1 = (x2-x1)*(y1-y2)    area_2 = (x4-x3)*(y3-y4)    sum_area = area_1 + area_2
    w1 = x2 - x1   #第一个矩形的宽    w2 = x4 - x3   #第二个矩形的宽    h1 = y1 - y2    h2 = y3 - y4    W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4)    #交叉部分的宽    H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4)    #交叉部分的高    Area = W*H    #交叉的面积    add_area = sum_area - Area    #两矩形并集的面积
    end_area = (area_C - add_area)/area_C    #闭包区域中不属于两个框的区域占闭包区域的比重    giou = iou - end_area    return giou

三、DIoU(Distance-IoU)[2]

1、来源

DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题。论文中

Distance-IoU
https://arxiv.org/pdf/1911.08287.pdf

基于IoU和GIoU存在的问题，作者提出了两个问题：
1. 直接最小化anchor框与目标框之间的归一化距离是否可行，以达到更快的收敛速度？
2. 如何使回归在与目标框有重叠甚至包含时更准确、更快？

其中，  ，  分别代表了预测框和真实框的中心点，且  代表的是计算两个中心点间的欧式距离。  代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。

DIoU中对anchor框和目标框之间的归一化距离进行了建模

附：

YOLOV3 DIoU GitHub项目地址
https//github.com/Zzh-tju/DIoU-darknet

2、优点

  • 与GIoU loss类似，DIoU loss（  ）在与目标框不重叠时，仍然可以为边界框提供移动方向。

  • DIoU loss可以直接最小化两个目标框的距离，因此比GIoU loss收敛快得多。

  • 对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失。

  • DIoU还可以替换普通的IoU评价策略，应用于NMS中，使得NMS得到的结果更加合理和有效。

实现代码：[3]

def Diou(bboxes1, bboxes2):    rows = bboxes1.shape[0]    cols = bboxes2.shape[0]    dious = torch.zeros((rows, cols))    if rows * cols == 0:#        return dious    exchange = False    if bboxes1.shape[0] > bboxes2.shape[0]:        bboxes1, bboxes2 = bboxes2, bboxes1        dious = torch.zeros((cols, rows))        exchange = True    # #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3]    w1 = bboxes1[:, 2] - bboxes1[:, 0]    h1 = bboxes1[:, 3] - bboxes1[:, 1]    w2 = bboxes2[:, 2] - bboxes2[:, 0]    h2 = bboxes2[:, 3] - bboxes2[:, 1]
    area1 = w1 * h1    area2 = w2 * h2
    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2     center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2     center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2
    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:])    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2])    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:])    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])
    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)    inter_area = inter[:, 0] * inter[:, 1]    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2    outer = torch.clamp((out_max_xy - out_min_xy), min=0)    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)    union = area1+area2-inter_area    dious = inter_area / union - (inter_diag) / outer_diag    dious = torch.clamp(dious,min=-1.0,max = 1.0)    if exchange:        dious = dious.T    return dious

四、CIoU(Complete-IoU)

论文考虑到bbox回归三要素中的长宽比还没被考虑到计算中，因此，进一步在DIoU的基础上提出了CIoU。其惩罚项如下面公式：

其中  是权重函数，

而  用来度量长宽比的相似性，定义为

完整的 CIoU 损失函数定义：

最后，CIoU loss的梯度类似于DIoU loss，但还要考虑  的梯度。在长宽在  的情况下，  的值通常很小，会导致梯度爆炸，因此在  实现时将替换成1。[4]

实现代码：[5]

def bbox_overlaps_ciou(bboxes1, bboxes2):    rows = bboxes1.shape[0]    cols = bboxes2.shape[0]    cious = torch.zeros((rows, cols))    if rows * cols == 0:        return cious    exchange = False    if bboxes1.shape[0] > bboxes2.shape[0]:        bboxes1, bboxes2 = bboxes2, bboxes1        cious = torch.zeros((cols, rows))        exchange = True
    w1 = bboxes1[:, 2] - bboxes1[:, 0]    h1 = bboxes1[:, 3] - bboxes1[:, 1]    w2 = bboxes2[:, 2] - bboxes2[:, 0]    h2 = bboxes2[:, 3] - bboxes2[:, 1]
    area1 = w1 * h1    area2 = w2 * h2
    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2    center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2    center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2
    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:])    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2])    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:])    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])
    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)    inter_area = inter[:, 0] * inter[:, 1]    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2    outer = torch.clamp((out_max_xy - out_min_xy), min=0)    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)    union = area1+area2-inter_area    u = (inter_diag) / outer_diag    iou = inter_area / union    with torch.no_grad():        arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1)        v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2)        S = 1 - iou        alpha = v / (S + v)        w_temp = 2 * w1    ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1)    cious = iou - (u + alpha * ar)    cious = torch.clamp(cious,min=-1.0,max = 1.0)    if exchange:        cious = cious.T    return cious

五、损失函数在YOLOv3上的性能(论文效果)

目标检测算法之AAAI 2020 DIoU Loss 已开源(YOLOV3涨近3个点)
https://cloud.tencent.com/developer/article/1558533

推荐文章：

CrazyVertigo：目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss

参考

  1. https://zhuanlan.zhihu.com/p/57863810

  2. DIoU参考 https://mp.weixin.qq.com/s/7E2xG1LUQZGWvUee1llmsA

  3. DIOU代码实现 https://blog.csdn.net/TJMtaotao/article/details/103317267

  4. AAAI 2020 | DIoU 和 CIoU：IoU 在目标检测中的正确打开方式 https://bbs.cvmart.net/articles/1396

  5. https://blog.csdn.net/TJMtaotao/article/details/103317267

视学算法
关注
IoU的进化之路——IoU、GIoU、DIoU、CIoU四种损失函数总结
chase
08-06 6615
IoU、GIoU、DIoU、CIoU四种损失函数总结
IOU GIOU DIOU CIOU 及代码实现
m0_54146002的博客
09-27 544
发展过程： IOU IOU(交并比)顾名思义就是两个框的交集除以他们的并集。 IOU Loss： 或者 IOU Loss = 1 －IOU(比较常用) IOU 的优点： 1.能够很好的反应重合的程度 2.具有尺度不变性 缺点： 当不相交时候loss为0 （IOU Loss = 1 - IOU） GIOU 如图绿色边界框为真实的边界框，红色边界框为网络预测的边界框，蓝色边界框为用最小的矩形把两个边界框给框住。 = 蓝色目标边界框面积。...
IoU、GIoU、DIoU、CIoU损失函数
吴建明wujianming_110117
05-31 4474
IoU、GIoU、DIoU、CIoU损失函数 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。目标检测任务中近几年来Bounding Box Regression Loss Function的演进过程，其演进路线是 一、IOU(Intersection over Union) 特性(优点) IoU就是我们所说的交并比，是目标检测中最常用的指标，在anchor-based的方法。作用不仅用来确定正样本和负样本，还可以用
IOU损失
地推
10-17 191
YOLO损失函数不能很好地转换为mAP指标，该指标在计算中大量使用了Union上的Intersection。因此，在考虑到最终预测的情况下编辑训练损失函数是很有用的。这个编辑也出现在YOLOv4中。
目标检测入门：3.目标检测损失函数（IOU、GIOU、DIOU）
最新发布
weixin_43946736的博客
07-04 1287
本章主要将了IOU、GIOU、CIOU的原理和代码实现，最后使用DIOU实战小黄人目标检测。
GIOU、DIOU、CIOU
cdknight_happy的专栏
08-07 2245
1 GIOU 论文：https://arxiv.org/abs/1902.09630 代码：https://github.com/generalized-iou/g-darknet 1.1 摘要 IOU是目标检测中的度量标准，但进行目标位置回归时一般使用的是L1L_1L1​或L2L_2L2​损失，作者证明了最小化这些损失并不等同于可以最大化IOU。因此，作者认为应该将最终的优化目标作为损失函数。但是普通的IOU在两个目标框不重叠时值为0，如果以它为损失函数此时反传的梯度为0，无法进行模型的训练。所以作者提出
损失函数：IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU超详细精讲及Pytorch实现
路人贾的博客
06-20 2万+
一文带你了解IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU。超级详细的解读，包含代码实现，适合小白！
深入理解 YOLOv4 中的 CIOU 损失函数计算方法
AI_dataloads的博客
11-13 8998
CIOU 损失函数是 YOLOv4 在原有 IOU（Intersection over Union）损失函数基础上的改进版本。它考虑了目标框之间的完整交叉，并引入了修正因子，以更精准地度量目标框之间的相似性。CIOU 损失函数的计算方法相比于传统 IOU 更为复杂，但这也使得模型在训练过程中能够更好地理解目标框的准确位置和形状。CIOU 损失函数在设计上考虑了目标框的形状信息，通过引入修正因子，使得损失对于不同形状的目标框更具鲁棒性。这使得模型更容易捕捉目标的准确形状。
论文阅读-目标检测损失函数GIoU,DIoU,CIoU
qq_36868451的博客
12-23 7684
目标检测损失函数GIoU,DIoU,CIoU GIoU论文链接 DIoU和CIoU论文链接 1. GIoU 1.1. 问题提出 1.1.1. 范数损失的缺陷 在GIoU之前，主要是以IoU或者lnnorml_n normln​norm作为损失函数的，而这些损失函数实际上是不够精细的。也就是说，即使观感上的差距很大，损失的值也会相同。以giou论文里举出的(a)图为例： 此时以l2norml_2norml2​norm作为损失函数（也就是两对点之间的欧氏距离），为了简便起见，固定一个点不动（假设是左下角的点不
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU
weixin_44287997的博客
11-05 1753
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU 联言命题 2020-02-23 21:36:37 ...
【DIoU CIoU】DIoU和CIoU损失函数理解及代码实现
计算机视觉方面的点点滴滴，欢迎一起讨论
05-27 3744
文章目录1 引言2 问题分析3 作者思考4 DIoU Loss计算过程5 CIoU Loss计算过程6 IoU/GIoU/DIoU/CIoU代码实现可视化7 感谢链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss -->
ciou损失
ffllxx123的博客
07-27 702
vvbv
Loss functions（损失函数学习，系统总结）
TJMtaotao的博客，高校计算机教师
04-24 460
Given a prediction (p) and a label (y), a loss functionmeasures the discrepancy between the algorithm's prediction and the desired output. VW currently supports the following loss functions, with sq...
目标检测回归损失函数——IOU、GIOU、DIOU、CIOU
爱做菜的炼丹师
12-25 3895
一、IOU Loss上一篇文章提到L1,L2及其变种只将Bounding box的四个角点分别求loss然后相加，没有引入box四个顶点之间的相关性并且模型在训练过程中更偏向于尺寸更大的物体。在此基础上旷视在2016文章《UnitBox: An Advanced Object Detection Network》中提出了IOU Loss将4个点构成的box看成一个整体做回归。文章链接：https:...
区分（GIOU、DIOU、CIOU）（正则化、归一化、标准化）
qq_34717531的博客
11-29 484
3、 图x3分类全部是正确的，但是看着这副图片，明显觉得过了，连人妖都区分的出来，可想而知，学习的时候需要更多的参数项，甚至将生殖器官的形状、喉结的大小、有没有胡须特征等都作为特征取用了，总而言之。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。DIoU考虑了重叠面积和中心点距离，当目标框包裹预测框的时候，直接度量2个框的距离，因此DIoU收敛的更快，中我们使用到的特征非常多(一般而言，机器学习的过程中，很多特征是可以被丢弃掉的)。的N特别的大，因为需要提供的特征多，或者提供的。
目标检测中的IoU、GIoU、DIoU与CIoU
热门推荐
个人学习笔记
12-14 3万+
什么是IOU？ 简单来说IOU就是用来度量目标检测中预测框与真实框的重叠程度。在图像分类中，有一个明确的指标准确率来衡量模型分类模型的好坏。其公式为： acc=PtrueNN=全部样本的数量，Ptrue=预测正确的样本数量 acc = \frac{P_{true}}{N} {\quad}{\quad}{\quad}{\quad}{\quad}{\quad}{\quad}N=全部样本的数量，P_{true}=预测正确的样本数量 acc=NPtrue​​N=全部样本的数量，Ptrue​=预测正确的样本数量 这个
IoU系列损失详解
weixin_43482623的博客
08-10 1万+
IoU相关损失详解 IoU 计算公式及原理解析 ​ IoU的全称为交并比（Intersection over Union），即表示为“预测边框(bounding box )”和“真实边框(ground truth)“的交集和并集的比值。即IoU的计算公式为： IoU=(A∩B)A∪B IoU =\frac{(A \cap B)} {A \cup B} IoU=A∪B(A∩B)​ ​ 用图像可以更直观的表示，其表示如下： ​ 即IoU相当于两个区域交叉的部分除以两个区域的并集部分得出的结果。 ​
各种IOU损失函数（IOU、GIOU、CIOU、DIOU）
MAX的专栏
02-19 2792
IOU 交并比 GIOU
目标检测--边框回归损失函数(IoU, GIoU, DIoU, CIoU)原理详解及代码实现
Gthan
07-12 4445
对目标检测边框回归的IoU, GIoU, DIoU, CIoU损失函数进行原理详解及代码实现
IoU定义？如何评估海洋锋
06-10
IoU是Intersection over Union的缩写，指的是两个集合的交集与并集的比值，通常用于计算目标检测算法的性能指标。 评估海洋锋通常需要对其位置、形态等进行分析。可以使用海洋学中的一些指标，如海流、海温、海面高度、海表盐度等来评估海洋锋。同时，也可以使用数值模型对海洋锋进行模拟预测，并与实际观测数据进行比较分析，以评估海洋锋的性质和特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值