论文阅读--CLIP4Clip

最新推荐文章于 2024-08-25 12:55:21 发布
最新推荐文章于 2024-08-25 12:55:21 发布
阅读量271 收藏
点赞数 2
文章标签： 论文阅读 CLIP 人工智能 深度学习 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73202283/article/details/139207673
版权

CLIP天生适合做retrieve的任务，拿编码好的特征做相似度计算

CLIP做视频的迁移问题在于，一般视频的处理方式是对多个帧做patch，因此得到的图像特征应该是多个帧的融合特征，但CLIP是一个文本特征对应一个图像特征，这时候该如何进行相似度计算？

第一种方法：直接取平均。缺点是没有考虑到时序的特性，例如两段视频，一段是人慢慢坐下，一段是人慢慢起身，直接取平均的话这两段视频的语义是一样的

第二章方法：用transformer或LSTM，把时序信息加进去

第三章方法：不在最后融合特征，而是将文本与视频帧丢入同一个transformer，类似于把文本特征当成cls token，最后把融合了视频与文本的特征去做相似度计算

用少量数据集时直接平均的效果最好，只有当数据量上去的时候，后面的方法效果才会提高

__如果
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
论文阅读-Clip4Clip:An Empirical Study of CLIP for End to End Video Clip Retrieval（视频领域）
一位不是很硕的鉴伪方向硕士
10-31 783
CLIP4clip 做的是视频文字检索，这是一篇实验性质的论文，旨在探索 CLIP 模型在视频领域的应用。CLIP模型很适合做retrival的任务，因为它本身就是计算图像和文本的相似性。
CLIP:CLIP算法的实现
03-27
[公式]（ {i \ pi} = -1） 随时使用它，这样做时请参考我们的论文。先决条件我们的代码是通过python实现的，并利用了PyTorch （另请参见其git ）。参考[1] Leon Bungert，RenéRaab，Tim Roith，Leo Schwinn，Daniel...
论文阅读笔记（五）CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
hbwfgt的博客
07-08 1000
CLIP4Clip
视频文本检索之CLIP4Clip
年轻即出发，
05-09 1569
通过分析发现预训练模型clip是基于2D线性投影训练的，却作为3D线性投影的初始化参数，这导致模型没有学习视频帧间的时序特征。模型为12层，宽度为512，包含8个注意力头。将文本特征W和视频特征Z拼接起来，得到拼接后的特征U，并将U和位置编码P，类型编码T进行拼接，输入Transformer进行编码，然后使用2个全连接层做特征投影，得到最终的输出。根据文本到视频检索中的相似性得分对给定查询本文的所有视频（或视频片段）进行排序，或者在视频到文本检索任务中对给定查询视频（或视频片段）的所有文本进行排序。
CLIP：连接文本和图像阅读笔记
dawnyi_yang的博客
02-28 6115
前言 承接上一篇阅读笔记，本周阅读了CLIP的论文《Learning Transferable Visual Models From Natural Language 》。 论文地址：《Learning Transferable Visual Models From Natural Language 》 代码：https://github.com/openai/CLIP 摘要 在构建计算机视觉模型时，只是为了某一个或某一组任务而构建数据集，往往需要大量的劳动力来进行数据标注，并且数据集的构建成本很高。而且，
论文精读--CLIP
m0_73202283的博客
11-13 713
论文链接：CLIP的迁移学习能力非常强，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果CLIP是zero-shot零样本学习的模型，也就是说CLIP无需在这些数据集上进行训练就能得到很好的效果作者在超过30个数据集上做了测试，涵盖了OCR、视频动作检测、坐标定位和许多细分类任务在所有的测试结果当中，表现最突出的是在ImageNet上的结果，在不使用128万中的任何一张图片训练的情况下，能得到与训练好的Resnet-50同样的效果CLIP模型总览图。
多模态系列论文--CLIP 详细解析
lansebingxuan的专栏
06-28 2328
现在最先进的视觉系统都是预先定义好的一些物体类别标签的集合，模型学习预测这些预定义的类别从而完成模型的训练，但有限制性的监督信号也限制了模型本身的泛化性，尤其是需要识别新物体类别的时候，都要去收集新的数据训练新的模型。直接从自然语言文本里去得到一些监督信号是一个非常有前途的办法。本文爬取了一个4个亿的图片文本配对的数据集，选择一种自监督的训练方式，利用文本的监督信号训练一个迁移能力强的视觉模型（zero shot模型），证实了用一个非常简单的预训练的任务，就可以高效且可扩展的学习一些最好的图像的表征。
BioMed-CLIP 论文阅读笔记
qq_58400270的博客
12-09 1961
本文聚焦于将VLP（vision-language processing）拓展到生物医学领域，介绍了一种迄今为止最大的生物医学VLP研究（使用了从PubMed Central中提取的15M 图像文本对）
CLIP论文阅读
zag666的博客
02-26 973
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
Multilingual-CLIP
03-19
多语言CLIP 适用于任何语言的OpenAI CLIP文本编码器 ...预训练的CLIP-Text编码器可支持多种语言 pytorch推断代码 + + 的图像标题的训练数据3M预先计算的CLIP文本编码 要求 尽管其他版本也可能工作得很好，但我
matlab精度检验代码-F-Clip:TheofficialPyTorchimplementationofthepaper:*XiliDai
05-22
该存储库包含该论文的官方PyTorch实现：*，，，。 *。 介绍 我们的方法（F-Clip）是一种简单有效的神经网络，用于从给定的图像和视频中检测线路。 它在准确性和速度上都大大优于以前的最新线框和线检测器。 我们希望...
Clip to Anki-crx插件
04-03
卡中包含的字段为：-正面（在arxiv情况下默认为论文标题）-背面（在arxiv情况下默认为摘要）-年-作者-标题-URL-期刊-标签（如果是arxiv，则默认为纸张类别。）要运行此功能，需要运行anki-connect（请参阅...
SAM-Based相关论文简介
08-24
OV-SAM模型通过SAM2CLIP和CLIP2SAM两个知识迁移模块来实现模型结合。 模型框架：描述了训练和推理阶段的模型框架，包括教师-学生网络的蒸馏过程，特征表示的对齐，以及推理阶段的模型使用。 Gro
【论文阅读】基于 Voronoi 的无向点集变分重建
最新发布
WoooChi的博客
08-25 515
Voronoi-based Variational Reconstruction of Unoriented Point Sets 部分翻译
【论文阅读】NGD-SLAM: Towards Real-Time SLAM for Dynamic Environments without GPU
博客标题不能为空我也没办法
08-23 929
一篇语义辅助的视觉SLAM，设计的掩码预测方法能够让设备在不使用GPU的情况下完成语义分割的实时预测
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
weixin_46103454的博客
08-20 454
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
VIT论文阅读： A Image is Worth 16x16 Words
qq_19859865的博客
08-18 597
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
clip adapter
07-27
CLIP-Adapter是一篇名为"CLIP-Adapter: Better Vision-Language Models with Feature Adapters"的论文提出的方法。\[1\]该方法通过引入两个可学习的特征适配器Av(⋅)和At(⋅)，对视觉特征f和文本特征W进行线性变换。这些适配器通过残差连接与预训练的CLIP模型相结合，以避免遗忘原始知识。\[2\]CLIP-Adapter的主要工作是在视觉或语言分支上使用函数Adapter进行微调，以实现更好的视觉语言模型。具体来说，CLIP-Adapter引入了一个额外的瓶颈层来学习新特征，并执行与原始预训练特征的残差样式特征混合。\[3\]通过这种方式，CLIP-Adapter提供了一种替代prompt tuning的路径来改进视觉语言模型的性能。 #### 引用[.reference_title] - *1* *3* [CLIP-Adapter：利用Adapter微调CLIP适配下游任务](https://blog.csdn.net/weixin_44936889/article/details/120789500)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [CLIP-Adapter: Better Vision-Language Models with Feature Adapters](https://blog.csdn.net/weixin_48907099/article/details/131488484)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值