Glip模型

已于 2024-04-17 21:34:54 修改
阅读量599 收藏 13
点赞数 10
分类专栏： 多模态 文章标签： 语言模型 人工智能
于 2024-03-09 21:16:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013308709/article/details/136590513
版权
本文介绍了使用Transformer进行目标检测的最新方法Glip，它通过Zero-shot技术处理未知类别，利用Clip模型融合图像和文本特征，同时讨论了Detr和Yolos的局限性以及Glip的创新点，包括其独特的损失函数和训练数据策略。
摘要由CSDN通过智能技术生成

Yolos

  • 完全使用Transformer做目标检测
    在这里插入图片描述

Detr

  • 先使用CNN提取特征然后再使用transformer
  • Detr和Yolos共同的缺点：需要事先知道所有的类别
    在这里插入图片描述

Glip

  • Zero-shot, 目标检测的类别可以不在训练类别中

在这里插入图片描述

  • 目标框进行视觉编码，然后和文本进行匹配
  • 文本和视觉特征是通过Clip模型提取的，所以视觉向量和文本向量是在一个空间在这里插入图片描述

Glip模型的优点

在这里插入图片描述
在这里插入图片描述

Glip图像和文本融合

在这里插入图片描述

Glip损失函数

在这里插入图片描述
在这里插入图片描述

Glip训练数据

在这里插入图片描述

WindyChanChan
关注
专栏目录
论文阅读-（GLIP）Grounded Language-Image Pre-training （目标检测+定位）
一位不是很硕的鉴伪方向硕士
03-06 3030
GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。在训练完成之后，直接以 zero-shot 的方式在 COCO 数据集上进行测试，达到了 49.8 AP。
CLIP模型
NEUQ_snowy的博客
10-22 1万+
利用文本的监督信号训练一个迁移能力强的视觉模型!这个模型有什么用呢？想象我们有一个图像分类的任务训练1000个类别，预测一张图片是这1000个类别中的哪一类现在如果加入50个新的类别的图像，试想会发生什么呢？传统的图像分类模型无法对类别进行拓展，想要保证准确率只能从头开始训练，费时费力。CLIP模型就可以用来解决这种问题，预训练后的模型就可以直接进行zero-shotCLIP论文指出，17年就已经开始有这些方法了，但是没获得太多关注。
CV大（混合）模型之GLIP代码，原理解析
qq_40629612的博客
10-07 3787
CV混合模型之GLIP数据加载，框架运行及推理流程解析
【多模态大模型】GLIP：零样本学习 + 目标检测 + 视觉语言大模型
Debroon
02-04 7525
通过这些数据，GLIP学习到了丰富的视觉概念和语义信息，比如什么是“猫”，它们长什么样，常出现在哪些场景中，以及如何根据不同的描述（例如“黑色的猫”）来识别和定位具体的对象。比如，当GLIP遇到一个它在预训练数据中没有直接见过的新图片，即使这张图片中的对象是新的或者以新的方式出现，GLIP也能利用它从预训练中学到的知识，来识别和定位图片中的对象。: 在现有的视觉识别任务中，模型通常是针对一组固定的对象类别进行训练的，这限制了它们在现实世界中的应用，因为遇到新的视觉概念时，需要额外的标注数据来进行泛化。
GLIP：语言-图像关联预训练模型
weixin_51697828的博客
04-03 7057
原文：Li,LiunianHarold,PengchuanZhang,HaotianZhang,JianweiYang,ChunyuanLi,YiwuZhong,LijuanWang,LuYuan,LeiZhang,Jenq-NengHwang,Kai-WeiChangandJianfengGao.“GroundedLanguage-ImagePre-training.”ArXivabs/2112.03857(2021). 源码：https:...
CLIP，GLIP论文解读，清晰明了
Zosse的博客
09-15 7631
​CLIP：Contrastive Language-Image Pre-training，论文名称：Learning Transferable Visual Models From Natural Language Supervision。GLIP论文名称：Grounded Language-Image Pre-training
【Datawhale跨模态实践学习笔记】跨模态模型学习
JeffDing
11-18 1050
跨模态模型学习
将github上microsoft/GLIP的GLIP模型转换为onnx模型，要求onnx模型能够直接加载使用
08-19
根据引用和，GLIP模型可以使用提示调优的方式进行转换为ONNX模型，并能够直接加载和使用。提示调优是指仅对模型的提示嵌入进行调优，同时保持其他模型权重不变。这种方法可以在不重新训练整个模型的情况下实现高性能...
将微软用pytorch实现的GLIP模型转换为onnx模型，要求onnx模型能够直接加载使用
08-19
要将微软用PyTorch实现的GLIP模型转换为ONNX模型，并且要求ONNX模型能够直接加载使用，可以按照以下步骤进行操作： 1. 首先，加载微软用PyTorch实现的GLIP模型。可以根据具体的模型代码进行加载，这里以示例模型为...
模型实践｜ CLIP 模型
热门推荐
weixin_66945478的博客
03-28 1万+
CLIP(Contrastive Language-Image Pre-Training，以下简称 CLIP) 模型是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）💯。
go-glip：Go中Glip（https：glip.com）的入站Webhook客户端
02-10
Go中的Glip Webhook客户端 安装 $ go get github.com/grokify/go-glip 用法 在Glip中为对话创建Webhook URL 使用下面的代码向Webhook URL发送消息 import ( "fmt" "github.com/grokify/go-glip" ) func sendMessage () { // Can instantiate webhook client with full URL or GUID only url := "https://hooks.glip.com/webhook/00001111-2222-3333-4444-555566667777" client , err := glipwebhook . NewGlipWebhookClient ( url ) i
GLIP：引入语言图像预训练以进行目标检测
Warmer_Sweeter
01-05 1988
今天，我们将深入研究一篇在语言图像预训练方面借鉴了CLIP巨大成功的论文，并将其扩展到目标检测任务的论文：GLIP —— Grounded Language-Image Pre-training（基于语言图像的预训练）。我们将涵盖论文的关键概念和发现，并通过提供更多上下文以及对图像和实验结果添加注释，使其易于理解。让我们开始吧！论文：基于语言图像的预训练代码：https://github.com/...
多模态之GLIP—低成本迁移所有领域的phrase grounding预训练SOTA模型，细节理解与论文详细阅读：Grounded Language-Image Pre-training
小小帅
03-14 1683
本文提出了一种基础语言图像预训练（GLIP）模型，用于学习对象级、语言感知和语义丰富的视觉表征。GLIP 将物体检测（object detection）和短语定位（phrase grounding）统一起来进行预训练。它允许 GLIP 从检测和定位数据中学习，从而改进这两项任务，并引导出一个良好的定位模型；GLIP 可以利用海量图像-文本对，以自我训练的方式生成定位框，从而使学习到的表征语义丰富。
GLIP，FLIP论文阅读
qq_52038588的博客
10-23 549
1.图像端引入MAE的随机MASK，image encoder只处理未mask的patches（和之前的MAE方法一致），减少了输入序列长度加速训练，减少memory开销。text端没引入mask是因为text信息比较dense（图片信息比较稀疏），mask掉效果反而不好，之后是选择mask掉textpadding的地方提升了精度。2.做了三个方面的scale：说明model和data的scale还是很重要的，不同数据集相同大小也会对模型造成影响。
GLIP_V1/V2（Ground Language-Image Pre-train）CVPR2022
weixin_45104951的博客
09-27 989
vision grounding任务：给你一句话，你去把这句话里的物体在当前图片中定位出来。就类似一个目标检测任务。 CLIP是一个图像文本配对任务。 将两个任务结合起来，再加入伪标签（self training），这样模型就可以在没有标注过的图像文本对上生成bbox标签。从而扩张整个训练数据集的数量。
GLIP & DetCLIP
qq_33031419的博客
10-19 439
举例来说，假设我们有[person, bicycle, car, ..., toothbrush]等类别，我们可以设计一个这样的prompt，其中每一个类别名字都是一个phrase (GLIP 将其构建成了一个 phrase grounding 任务，将所有待检测的类别整合成了一个句子，然后送入 text encoder 进行编码并和。另外，预训练时候使用的数据集一般域间差别比较大且命名也有较大的不同，比如一个相同类别的目标在在不同数据集中的命名可能是不同的。其中 � 代表target，即gt的意思；
GLIP - 统一物体检测与短语定位的语言
最新发布
weixin_42136827的博客
09-09 1212
是一个新颖的模型，通过将视为上下文化的短语定位任务，将物体检测和短语定位统一起来。这种方法实现了一个灵活的、开放词汇的物体检测框架，将图像中的区域与文本描述对齐。这种方法克服了传统物体检测系统的局限性，后者通常只训练于固定的物体类别集。GLIP 的核心贡献在于将物体检测重构为短语定位、深度语言感知的视觉与文本信息融合，以及利用大量人类标注和自监督的图像-文本数据进行预训练。
GLIP代码调试与效果分析
weixin_42479327的博客
03-09 2046
如果图中没有提示词物品, 可能会强行安利一个不能处理太长的句子, 会超出理解范围提示词很重要, 检测不到的物品, 可能换个表达就能检测出来了.作为开集检测模型, GLIP还是非常优秀的, 比如零样本检测. 还可以实现视频检测任务. 快速自动标注等,至于检测精度, 还不能与有监督算法相比.对于工业部署, zero-shot还是算了, 薛定谔的检测结果不太靠谱. 微调后应该会好很多.
“目标检测“+“视觉理解“实现对输入图像的理解
jacke121的专栏
06-30 1432
"目标检测"+"视觉理解"实现对输入图像的理解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值