CLIP的改进工作

最新推荐文章于 2024-10-25 16:58:08 发布
最新推荐文章于 2024-10-25 16:58:08 发布
阅读量279 收藏
点赞数
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuvLive/article/details/128916361
版权

一、CLIP

Learning Transferable Visual Models From Natural Language Supervision

CLIP是用对比学习的方式去训练一个视觉-语言的多模态模型

二、分割

  1. LSeg (language-driven semantic segmentation)

  1. GroupViT (semantic segmentation emerges from text supervision)

LuvLife
关注
【机器学习】CLIP模型在有限计算资源下的性能探究：从数据、架构到训练策略
richard_yuu的博客
04-29 1140
在人工智能领域，多模态模型正逐渐成为研究的热点。其中，CLIP（Contrastive Language-Image Pretraining）模型以其卓越的性能和广泛的应用场景受到了广泛关注。然而，在实际应用中，计算资源的有限性往往成为制约模型性能提升的关键因素。近期的研究在探讨如何在计算资源有限的条件下，优化CLIP模型的性能表现，取得了显著的成果。
CLIP 改进工作串讲（下）【论文精读·42】
云淡风轻_的博客
01-29 1481
那首先作者先定义了一下问题，他说他现在的任务其实就是在一张白纸上，然后画几个这个曲线，也就他这里说的这种贝塞尔或者贝兹曲线。然后这些曲线当然都是随机初始化的，然后通过这种不停地训练，他希望这些曲线最后就变成了这个简笔画。那现在我们就来具体地看一下每一步是怎么完成的。首先我们说到了这个倍资曲线这个概念，倍资曲线其实是通过一系列的这个空间上二维的点控制的一个曲线。比如说你现在有这样的几个点，那它可能就定义了这么一个曲线。
CLIP改进工作串讲（上）
weixin_44966641的博客
10-15 6215
CLIP改进工作串讲（上）
EVA-CLIP：在规模上改进CLIP的训练技术
AI浩
06-11 2522
对比性语言-图像预训练，简称CLIP，因其在各种场景中的潜力而备受关注。在本文中，我们提出了EVA-CLIP，一系列模型，这些模型显著提高了CLIP训练的效率和有效性。我们的方法结合了新的表示学习、优化和增强技术，使得EVA-CLIP在参数数量相同的情况下，与之前的CLIP模型相比，取得了更优的性能，但训练成本却显著降低。值得注意的是，我们最大的50亿参数的EVA-02-CLIP-E/14+模型，仅通过90亿个样本的训练，就在ImageNet-1K验证集上实现了**82.0%
CLIP改进工作|沐神讲解
weixin_52002028的博客
07-20 1963
CLIP模型出现之后的改进工作或者基于CLIP模型做的新工作，包括图像分割、目标检测、图像生成、视频检索、动作识别、语音、3D等其他方面。
CLIP 改进工作串讲（上）【论文精读·42】
云淡风轻_的博客
12-15 1615
那接下来我们就来仔细的看一下什么是 Grouping block，什么是 group token？那老样子我们还是用一个具体的例子来说明这个情况。首先对于图像编码器来说，它这边就是一个 vision Transformer，从头到尾一共有 12 层，也就是说有 12 个这个 transformer layers。那图像编码器这边的输入其实有两个部分，一个就是来自于原始图像的这个 patching bedding，另外一个就是这篇文章提出来的这个可学习的group tokens。
clip改进工作串讲
最新发布
03-13
### 关于CLIP改进工作汇报总结 #### CLIP模型基础及其应用进展 CLIP（Contrastive Language–Image Pre-training）是一个在大量图像-文本对上训练的大规模对比学习模型，展示了强大的基于提示的零样本视觉分类能力...
clip改进工作图像分类
01-21
### 关于CLIP模型在图像分类任务上的改进 #### 细调策略的重要性 研究表明，直接微调CLIP模型本身可以构建强大且可重复的基础线。这表明细调策略至关重要，并证明了CLIP适用于ImageNet-1K的微调[^1]。 #### 零样本...
CLIP改进工作之Group VIT（使用了CLIP的目标函数自己做的训练模型）的局限性启发
weixin_53618407的博客
07-24 1496
作者为了尽可能的提高前景类的分割性能，因此就设置了一个相似度的阈值，比如说对于pascal voc这个数据集来说，它的阈值就设置成了0.9和0.95 ，也就是说grouping embedding和文本的相似度必须超过0.9，而且是取得最大的那一个，这样才能说grouping embedding属于这一类。但是这套方案对于pascal voc来说还好，因为本来的类别数就少，而且这个数据集里面就是实打实的物体，这个物体有非常明确的语义信息，因此不太存在这个背景类的干扰的问题。
CLIP改进
u012374012的专栏
10-25 1281
同样也是论文标题言简意赅地体现了核心工作：如何训练一个好的数据过滤网络（DFN），从而从原始数据池中过滤出高质量数据用以训练一个好的CLIP。），并计算新的b-1个负例对应的损失，并逐渐将该损失进行累加就会得到该GPU对应的完整局部损失，然后把所有GPU的局部损失相加便可以得到完整的。该实现下，每个GPU仅需要和相邻GPU进行D-1次文本特征的交换，并且仅需维护一个d x d的矩阵即可，鉴于SigLIP的特性，他们还设计了一种DDP训练下的高效实现，假设一共有D个GPU，每个GPU的局部批次大小为。
CLIP和改进工作
qq_52038588的博客
10-16 1652
CLIP 改进方向 语义分割 Lseg、GroupViT 目标检测 ViLD、GLIP v1/v2 视频理解 VideoCLIP、CLIP4clip、ActionCLIP 图像生成 VQGAN-CLIP、CLIPasso、CLIP-Draw 多模态下游任务 VL Downstream 其他prompt enginering（CoOp等） depthCLIP、pointCLIP（点云）、audioCLIP（音频）数据集4个亿论文标题中有一个重要的点——自然语言监督。这说明 CLIP 是涉及文字和图片的多模态领
告别“木桶原理”，CLIP系列模型如何补短板再升级？
CV_Autobot的博客
08-14 1052
作者|具身智能之心 编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文CLIP（Contrastive Language–Image Pre-training）模型自推出以来，在图像-文本跨模态理解和生成领域取得了显著成果。然而，经典模...
【JUST读论文 一些不偏视觉的CLIP相关工作】
black_diamond9的博客
03-27 1171
读论文笔记 一些关于多模态CLIP的论文阅读
刷论文的感觉太棒了！（对比学习 / CLIP改进 / 视频理解）
打瞌睡_的博客
09-18 1365
对比学习论文综述；CLIP改进论文综述；视频理解论文综述
CLIP 改进工作
连理o的博客
09-22 3248
各种借鉴了 CLIP 的模型
【论文通读】CLIP改进工作综述
HERODING23的博客
09-06 5361
CLIP作为多模态对比学习里程碑式工作，在创新性，有效性和领域性三个方面都拉满了。本篇博客就来探讨在CLIP之后，各个领域是如何利用CLIP去提升当前领域的性能，以及如何利用CLIP信息整合的能力在多模态领域做大做强。将图文通过CLIP得到特征，然后将这些特征融合起来去做之前的任务，加强模型的训练。把CLIP特征作为teacher，和当前的模型做蒸馏，学习到更好的预训练知识。借鉴CLIP的思想，应用到当前领域，自己定义对比学习和正负样本。
李沐论文精读系列四：CLIP和改进工作串讲（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso）
热门推荐
qq_56591814的博客
10-30 3万+
本文重点介绍了CLIP模型，和其在目标检测、语义分割、图像生成领域的扩展工作。
CLIP 改进工作串讲（下）
weixin_44966641的博客
10-17 3809
CLIP 改进工作串讲（下）
​微调神器 Finetuner，提升 CLIP 模型性能
Jina AI 的博客
11-10 5265
经证实，在海量的数据集上训练的大型神经网络模型可以完成一些之前被认为是AI领域亟待攻克的问题。例如，正确识别猫和袋鼠的图像一直都被看作非常困难的问题，但现在通过使用大型的神经网络模型已经可以很好地解决。然而，这些模型都是在类别广泛的数据集上预训练得到的，因此在完成一些具体的实际任务时，表现却不尽人意。Jina AI Finetuner 通过增加新的训练数据来提高预训练模型的性能，进而更好的应用到具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值