CVPR 2023 精选论文学习笔记：VoP Text-Video Co-Operative Prompt Tuning for Cross-Modal Retrieval

最新推荐文章于 2024-10-14 11:56:37 发布
最新推荐文章于 2024-10-14 11:56:37 发布
阅读量548 收藏 7
点赞数 15
分类专栏： 一分钟看懂人工智能顶会论文CVPR 文章标签： 学习 笔记 prompt 计算机视觉 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bookmashup/article/details/134748611
版权
本文介绍了一种基于VoP的跨模态检索方法，利用提示技术在未标记数据上进行非监督学习，无需微调，适用于视频搜索和多媒体检索。
摘要由CSDN通过智能技术生成

针对本文所选的主题，我们发现以下四个最相关的特征：

1. 检索与生成

  • 检索是指根据文本查询找到相关视频或字幕的任务。该任务要求模型能够理解文本查询和视频，以便识别出最相关的视频。
  • 生成是指自动生成视频描述或字幕的任务。该任务要求模型对视频内容有深刻的理解，以便生成准确流畅的文本描述。

2. 提示与微调

  • 提示是一种在不进行微调的情况下将预训练模型应用于新任务的技术。这可以通过向模型提供额外的说明或提示来帮助其理解新任务来实现。<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
结构化文摘
关注
专栏目录
订阅专栏
转载：英文AI论文协作
wuling129的专栏
11-27 271
Abstract是整篇论文的重中之重，一般审稿人都会先看Abstract，所以Abstract的好会很大程度决定了审稿人对这篇论文的第一印象。Abstract的一句话基本对应于Introduction的一段话，一句话只讲一件事，并且每句话之间需要做到逻辑连贯，合情合理。以提出一个方法去解决一个任务的论文为例 [1]：这类文章的Abstract：开头都先一句话介绍自己的任务（定义和挑战是什么）。下一句介绍现有工作如何解决前一句中提到的调整，但存在什么缺陷。（这一句有时候可以省略，如上例）
VoP: Text-Video Co-operative Prompt Tuning for Cross-Modal Retrieval
qq_37246721的博客
07-25 252
基于视频特性，建立三种视频促进机制，对帧位置（聚合同一帧内的信息）、帧内容（聚合上下文信息到帧内）、层功能进行建模（自适应地协助学习帧内或帧间的亲和关系）（1）文本-视频检索工作需要额外的模块对预训练模型进行微调，这会引入更多参数并增加计算负担；（2）同时为视频和文本编码器引入 prompts，即Co-operative Prompt；（2）用于微调的数据量过低还会造成原有模型的知识遗忘，带来过拟合风险；（3）探索视频prompt，使VoP综合更多帧的时空信息；视频理解需要同时汇总时空信息；
Cross-Modal Prompt Tuning
qq_43775680的博客
10-06 741
本篇清华刘知远组提出的CPT模型是在多模态的图像端使用prompt技术的首个工作，经过大量的实验表明，该方法取得了好的zero-shot和few-shot性能，在全数据上的性能也超越了普通的微调方法。
Video retrieval--X-pool: Cross-Modal Language-Video Attention for Text-Video Retrieval（论文笔记）
智国的博客
05-19 1223
基本信息 title： X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval source： CVPR2022 field： video retrieval 一句话亮点 用文本Query对视频K,V的attention定位具体片段 Motivation 视频承载的信息远多于文本，一句文本query往往只表达了一个视频的部分帧的部分区域信息，因此，同一个视频可以对应多个query。之前的研究大多是将视频看作一个整体，使用m
【提示学习论文六】MaPLe: Multi-modal Prompt Learning论文原理
weixin_51293984的博客
01-11 2280
这篇文章于2023年发表在CVPR（Conference on Computer Vision and Pattern Recognition），作者是Muhammad Uzair Khattak，Hanoona Rasheed，Muhammad Maaz，Salman Khan，Fahad Shahbaz Khan。研究发现Clip的问题：在单个分支（语言或视觉）中使用prompt来调整表示是次优的，它不能在下游任务上灵活地动态调整两个表示空间。
[CVPR2022|跨模态检索]ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval
TycoonL的博客
05-02 3382
文章地址： http://arxiv.org/pdf/2203.16778 个人阅读见解，欢迎大家交流讨论指正~ 一、研究背景 视觉外观被认为是跨模态检索中理解图像的最重要线索，而有时图像中出现的场景文本(Scene text)可以为理解视觉语义提供有价值的信息。现有的跨模式检索方法大多忽略了场景文本信息的使用，并且若直接添加这些信息可能会导致无场景文本场景中的性能下降。 作为最重要的多模态理解任务之一，跨模态检索因其在新闻搜索和产品检索等领域的重要应用而备受关注。跨模态text-to-image检索旨在.
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Hello World
04-19 2584
CVPR2018的一篇关于跨媒体检索的文章，paper链接https://arxiv.org/abs/1711.06420，一作是南洋理工大学的PHD，作者的homepage http://jxgu.cc/，code已经被released出来了https://github.com/ujiuxiang/NLP_Practice.PyTorch/tree/master/cross_modal_retr...
跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
zag666的博客
06-17 8280
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
论文笔记013:[CVPR2019]CityFlow: A City-Scale Benchmark for Multi-Target Multi-Camera Vehicle Tracking an
qq_41876456的博客
11-17 4307
机器之心详解 摘要 城市交通优化使用交通摄像头作为传感器，推动了先进的多目标多摄像头(MTMC)跟踪的需求。背景 这项工作引入了CityFlow，这是一个城市规模的交通摄像头数据集，包含超过3小时的同步高清视频，来自10个路口的40个摄像头，同时两个摄像头之间的最长距离为2.5公里。据我们所知，CityFlow是城市环境中最大的空间覆盖和摄像头/视频数量的数据集。该数据集包含超过200K的带注释的边界框，涵盖了广泛的场景、视角、车辆模型和城市交通流状况。摄像机的几何形状和校准信息被提供来辅助时空分析。此.
深度学习论文: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop
mingo_敏
08-14 1158
为了解决工业视觉检测中产品类型的广泛多样性，我们构建一个可以快速适应众多类别且不需要或只需要很少的正常参考图像的单一模型，为工业视觉检测提供更加高效的解决方案。提出了针对2023年VAND挑战的零/少样本跟踪的解决方案。1） 在zero-shot任务中，所提解决方案在CLIP模型上加入额外的线形层，使图像特征映射到联合嵌入空间，从而使其能够与文本特征进行比较并生成异anomaly maps。
【CVPR2023】详细解读 Multi-Concept Customization of Text-to-Image Diffusion 论文和代码
沉迷单车的追风少年
07-31 1255
lora、dreambooth、Textual Inversion等微调stable diffusion方法已经被广泛使用，最近cvpr2023的一篇新论文《Multi-Concept Customization of Text-to-Image Diffusion》在生成新的概念和组合不同的新概念上具有明显优势，除此之外作者还通过实验探索了快速微调的方法，这篇博客将详细解读这篇论文的原理和代码。
RGBT Tracking论文阅读：Efficient RGB-T Tracking via Cross-Modality Distillation（CVPR2023）
qianxi1234的博客
06-02 1252
目前大多数RGB-T跟踪器采用双流结构来提取单峰RGB和热特征，并采用复杂的融合策略来实现多模态特征融合，这需要大量的参数，从而阻碍了其在现实生活中的应用。另一方面，紧凑型RGB-T跟踪器在计算上可能是高效的，但由于特征表示能力的削弱，会遇到不可忽略的性能退化。为了弥补这种情况，提出了一种跨模态蒸馏框架，以弥补紧凑跟踪器和强大跟踪器之间的性能差距。
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1405
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 524
论文创新点，将注意力机制 和卷积 相结合。
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 271
从模式选择Reset模式可以实现自动清零计数器CNT。
苍穹外卖学习笔记(二十一)
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
10-13 360
取消订单与再来一单
拆解学习【无线充，EMMC，锂电池电量计，OTA】（二）
zjb6668的博客
10-12 1051
MT5727H内置ARM M0处理器，搭配8KB SRAM和16KB MTP存储器，支持私有无线充电协议，芯片内部集成同步整流器和LDO，芯片内置过压过流保护，支持I2C接口和可配置的GPIO接口。无线连接采用dialog DA16200 WiFi SoC芯片，是一款高度集成的超低功耗的WiFi SoC芯片，芯片内置基带处理器，内存，处理器，功放和放大器等。- 在多任务场景（如蓝牙传输、主动降噪和音频播放）下，需要快速存储和读取中间数据，而 eMMC 的**高速接口**能保证系统的实时性。
vue3学习记录-Teleport和KeepAlive
最新发布
qq_45030898的博客
10-14 580
vue3学习记录-Teleport和KeepAlive
UCS-Net在三维重建中的应用及CVPR-2020论文解析
资源摘要信息:"UCS-Net是一个在2020年计算机视觉与模式识别会议（CVPR 2020）上提出的深度学习模型，用于三维重建任务。三维重建是指利用计算机视觉技术从二维图像中恢复出物体或场景的三维结构信息。UCS-Net通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

结构化文摘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值