论文阅读-（GLIP）Grounded Language-Image Pre-training （目标检测+定位）

最新推荐文章于 2024-07-09 15:46:06 发布

海拉鲁的小厨娘

最新推荐文章于 2024-07-09 15:46:06 发布

阅读量2.8k

点赞数 1

分类专栏：读论文文章标签：目标检测论文阅读计算机视觉

本文链接：https://blog.csdn.net/qq_43687860/article/details/129357440

版权

51 篇文章 34 订阅 ¥19.90 ¥99.00

订阅专栏

Paper：Grounded Language-Image Pre-training

Code：https://github.com/microsoft/GLIP

简介：

定位任务与图像检测任务非常类似，都是去图中找目标物体的位置，目标检测为给出一张图片找出bounding box，定位为给出一个图片和文本，根据文本找出物体。GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。在训练完成之后，直接以 zero-shot 的方式在 COCO 数据集上进行测试，达到了 49.8 AP。
GLIP 进行 zero-shot 测试的结果如下图所示，不管是给定几个类别（如 person、pistol、apple等）还是给定一段话（如 ‘there are some holes on the road’）作为文本编码器的输入，GLIP 模型都能从图像中找到对应物体的位置。

如何统一两个任务：

detection 和 grouding 任务的目标函数都是由两部分损失组成，即分类损失和定位损失。定位损失不必多说，直接去计算与标注中的 GT 框的距离即

了解本专栏

关注