Glip模型

已于 2024-04-17 21:34:54 修改
阅读量439 收藏 11
点赞数 10
分类专栏： 多模态 文章标签： 语言模型 人工智能
于 2024-03-09 21:16:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013308709/article/details/136590513
版权

Yolos

  • 完全使用Transformer做目标检测
    在这里插入图片描述

Detr

  • 先使用CNN提取特征然后再使用transformer
  • Detr和Yolos共同的缺点：需要事先知道所有的类别
    在这里插入图片描述

Glip

  • Zero-shot, 目标检测的类别可以不在训练类别中

在这里插入图片描述

  • 目标框进行视觉编码，然后和文本进行匹配
  • 文本和视觉特征是通过Clip模型提取的，所以视觉向量和文本向量是在一个空间在这里插入图片描述

Glip模型的优点

在这里插入图片描述
在这里插入图片描述

Glip图像和文本融合

在这里插入图片描述

Glip损失函数

在这里插入图片描述
在这里插入图片描述

Glip训练数据

在这里插入图片描述

WindyChanChan
关注
  • 10
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【多模态大模型】GLIP：零样本学习 + 目标检测 + 视觉语言大模型
Debroon
02-04 2553
通过这些数据，GLIP学习到了丰富的视觉概念和语义信息，比如什么是“猫”，它们长什么样，常出现在哪些场景中，以及如何根据不同的描述（例如“黑色的猫”）来识别和定位具体的对象。比如，当GLIP遇到一个它在预训练数据中没有直接见过的新图片，即使这张图片中的对象是新的或者以新的方式出现，GLIP也能利用它从预训练中学到的知识，来识别和定位图片中的对象。: 在现有的视觉识别任务中，模型通常是针对一组固定的对象类别进行训练的，这限制了它们在现实世界中的应用，因为遇到新的视觉概念时，需要额外的标注数据来进行泛化。
GLIP：语言-图像关联预训练模型
weixin_51697828的博客
04-03 6834
原文：Li,LiunianHarold,PengchuanZhang,HaotianZhang,JianweiYang,ChunyuanLi,YiwuZhong,LijuanWang,LuYuan,LeiZhang,Jenq-NengHwang,Kai-WeiChangandJianfengGao.“GroundedLanguage-ImagePre-training.”ArXivabs/2112.03857(2021). 源码：https:...
GLIP论文理解
最新发布
m0_51619560的博客
02-19 732
GLIP(是一个可扩展的（generalizable）目标检测模型（其实准确来说应该表述为短语定位模型，本句在这里将"目标检测"和"短语定位"任务混为一谈）在文章开头先解释一下GLIP论文中用到的一些"黑话"generalizable（可泛化）：侧重于描述模型，强调模型学到的特征能够泛化到新的情境。scalable（可扩展）：关注系统、算法、数据集的可扩展性，确保算法在面对更大规模、更复杂的情况时性能能够保持或提高。
CV大（混合）模型之GLIP代码，原理解析
qq_40629612的博客
10-07 2289
CV混合模型之GLIP数据加载，框架运行及推理流程解析
CLIP模型
NEUQ_snowy的博客
10-22 1万+
利用文本的监督信号训练一个迁移能力强的视觉模型!这个模型有什么用呢？想象我们有一个图像分类的任务训练1000个类别，预测一张图片是这1000个类别中的哪一类现在如果加入50个新的类别的图像，试想会发生什么呢？传统的图像分类模型无法对类别进行拓展，想要保证准确率只能从头开始训练，费时费力。CLIP模型就可以用来解决这种问题，预训练后的模型就可以直接进行zero-shotCLIP论文指出，17年就已经开始有这些方法了，但是没获得太多关注。
GLIP：引入语言图像预训练以进行目标检测
Warmer_Sweeter
01-05 1410
今天，我们将深入研究一篇在语言图像预训练方面借鉴了CLIP巨大成功的论文，并将其扩展到目标检测任务的论文：GLIP —— Grounded Language-Image Pre-training（基于语言图像的预训练）。我们将涵盖论文的关键概念和发现，并通过提供更多上下文以及对图像和实验结果添加注释，使其易于理解。让我们开始吧！论文：基于语言图像的预训练代码：https://github.com/...
GLIP C++ library-开源
04-27
GLIP是一个C ++库，用于处理置换组下的同构问题。
Glip Salesforce-crx插件
04-03
将Salesforce案例链接到Glip团队 此扩展假定对于每张Salesforce票证，都应该有一个Glip团队。 它在Salesforce页面上显示指向Glip团队的链接单击链接，您将被重定向到正确的Glip团队。它适用于SalesForce Classic和...
GLIP-LIB:OpenGL图像处理库-开源
05-10
GLIP-Lib是用C ++编写的OpenGL图像处理库。 它具有所有必需的工具，可快速构建纹理过滤器和管道并在GPU上进行操作。
glip-docusign-chatbot:Glip DocuSign聊天机器人
05-07
Glip DocuSign聊天机器人 它有什么作用？ 假设一家公司同时使用Glip和DocuSign。 每当DocuSign向员工发送电子邮件以要求他/她在文档上签名时，也会将Glip消息发送给同一位员工。 他/她可以单击Glip消息中的链接并...
glip-bot-webhook-verification
04-03
Glip Bot WebHook验证 该项目是一个演示项目，目的是验证bot WebHook是否可以从“所有员工”团队接收消息。 怎么跑 yarn serve开始当地的快递服务。 yarn proxy启动Ngrok代理。 将ngrok服务器URL复制并粘贴到.env...
论文阅读-（GLIP）Grounded Language-Image Pre-training （目标检测+定位）
一位不是很硕的鉴伪方向硕士
03-06 2726
GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。在训练完成之后，直接以 zero-shot 的方式在 COCO 数据集上进行测试，达到了 49.8 AP。
CLIP和改进工作
qq_52038588的博客
10-16 712
CLIP 改进方向 语义分割 Lseg、GroupViT 目标检测 ViLD、GLIP v1/v2 视频理解 VideoCLIP、CLIP4clip、ActionCLIP 图像生成 VQGAN-CLIP、CLIPasso、CLIP-Draw 多模态下游任务 VL Downstream 其他prompt enginering（CoOp等） depthCLIP、pointCLIP（点云）、audioCLIP（音频）数据集4个亿论文标题中有一个重要的点——自然语言监督。这说明 CLIP 是涉及文字和图片的多模态领
CLIP改进工作串讲（上）
weixin_44966641的博客
10-15 4766
CLIP改进工作串讲（上）
＜＜计算机视觉NeurIPS＞＞2022：GLIPv2: Unifying Localization and VL Understanding
金克丝的博客
09-30 874
建立一个通用的，可以同时处理任务(image classification、object detection和segmentation等等)和任务(VQA和image captioning等等)的在过去一两年广为关注，这需要模型能够有效的统一和任务。然而，这两种任务有很大的区别：localization是仅视觉的任务，需要细粒度的输出(例如，bounding boxes或pixel masks)，而VL understanding强调不同模态信息之间的融合。
CLIP模型原理与代码实现详解
热门推荐
weixin_38252409的博客
10-15 1万+
目前，大模型十分活跃，openai公司呈现GPT系列，特别是Chat-GPT给人深刻印象，意识到大模型厉害之处，随后推出GPT4模型，更是将大模型进一步推到一个高度，并将多模态融合技术留下深刻印象，同时，学者也对多模态融合技术研究呈现百花齐放之势。然而，多模态模型大多以CLIP所提方法或思路实现多模态融合。为此，本文将重新回顾CLIP论文相关理论，也重点梳理其源码，并附其代码供读者参考(本文会涉及VIT与BERT代码解读)。
CLIP，GLIP论文解读，清晰明了
Zosse的博客
09-15 6319
​CLIP：Contrastive Language-Image Pre-training，论文名称：Learning Transferable Visual Models From Natural Language Supervision。GLIP论文名称：Grounded Language-Image Pre-training
【论文精读】Grounded Language-Image Pre-training（GLIP）
joyce_peng的博客
07-24 5160
glip（Grounded Language-Image Pre-training），可以做visual grounding和目标检测任务
OpenAI最重要的模型【CLIP】
新缸中之脑
02-11 6445
CLIP 代表 Contrastive Language-Image Pretraining：CLIP 是一个开源、多模态、零样本模型。给定图像和文本描述，该模型可以预测与该图像最相关的文本描述，而无需针对特定任务进行优化。开源：该模型由 OpenAI 创建并开源。稍后我们将看到有关如何使用它的编程教程。多模态：多模态架构利用多个领域来学习特定任务。CLIP 结合了自然语言处理和计算机视觉。零样本：零样本学习是一种在未见过的标签上进行泛化的方法，无需专门训练来对它们进行分类。
将github上microsoft/GLIP的GLIP模型转换为onnx模型，要求onnx模型能够直接加载使用
08-19
根据引用和，GLIP模型可以使用提示调优的方式进行转换为ONNX模型，并能够直接加载和使用。提示调优是指仅对模型的提示嵌入进行调优，同时保持其他模型权重不变。这种方法可以在不重新训练整个模型的情况下实现高性能。 具体而言，你可以按照以下步骤将microsoft/GLIP的GLIP模型转换为ONNX模型，并确保ONNX模型能够直接加载和使用： 1. 首先，确保你已经安装了ONNX的Python库。你可以通过在终端中输入以下命令来安装它： ``` pip install onnx ``` 2. 接下来，下载并加载microsoft/GLIP的GLIP模型。你可以在Github上找到该模型的代码和权重文件。 3. 使用ONNX的API将已加载的模型转换为ONNX格式。你可以使用以下代码示例将GLIP模型保存为ONNX文件： ```python import torch import torchvision.models as models import onnx # 加载GLIP模型 model = models.GLIP() # 保存模型为ONNX格式 torch.onnx.export(model, torch.randn(1, 3, 224, 224), "glip_model.onnx", export_params=True) ``` 4. 现在你已经成功将GLIP模型转换为ONNX模型，并将其保存为"glip_model.onnx"文件。你可以使用ONNX库来加载和使用这个ONNX模型，例如： ```python import onnx import onnxruntime as ort # 加载ONNX模型 onnx_model = onnx.load("glip_model.onnx") # 创建ONNX运行时 ort_session = ort.InferenceSession("glip_model.onnx") # 运行模型 input_data = ... output_data = ort_session.run(None, {"input": input_data}) ``` 通过按照上述步骤将microsoft/GLIP的GLIP模型转换为ONNX模型，并使用ONNX库加载和使用ONNX模型，你就可以直接加载和使用已转换的ONNX模型了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [GLIP：语言-图像关联预训练模型](https://blog.csdn.net/weixin_51697828/article/details/123941639)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值