Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling

最新推荐文章于 2024-03-21 12:20:22 发布
最新推荐文章于 2024-03-21 12:20:22 发布
阅读量1.5k 收藏 2
点赞数 1
文章标签： bert r语言 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/missgrass/article/details/121214238
版权

这里写目录标题

CLIPBERT：通过稀疏采样的视频语言学习

视频和语言学习(例如，视频问答)的规范方法规定了一个神经模型，该模型可以从脱机提取的视觉模型中的密集视频特征和语言模型中的文本特征中学习。这些特征提取器是独立训练的，通常用于不同于目标域的任务，使得这些固定的特征对于下游任务来说不是最优的。此外，由于密集视频特征的高计算过载，通常很难(或不可行)将特征提取器直接插入现有方法中以便进行微调。为了解决这一难题，作者提出了一个通用框架CLIPBERT，该框架通过使用稀疏采样，在每个训练步骤中只使用一个或几个稀疏采样的视频短片段，从而为视频和语言任务提供了负担得起的端到端学习。实验text-to-video检索和视频问答6个数据证明CLIPBERT优于与(或)现有的方法,利用完整的视频,这表明端到端学习几个稀疏采样剪辑往往比使用更精确的人口从完整的视频中提取离线特性,证明了众所周知的less-is-more原则。数据集中的视频来自不同的领域和长度，从3秒的通用域GIF视频到180秒的YouTube人类活动视频，显示了作者方法的泛化能力。提供了全面的消融研究和彻底的分析，以剖析导致这种成功的因素。（感觉其实就是说明了，利用片段提取特征，要比整个视频的训练效果更好。）

介绍

联合理解视觉和文本线索的能力是智能代理解释物理世界中多模态信号的基本能力。设计了一系列基于真实视频的任务来测试这种能力，包括文本到视频检索、视频字幕、视频问答和视频瞬间检索。解决这些跨模态任务的方法是首先从预先训练的视觉模型中提取密集的视频特征，并从预先训练的语言模型中提取文本特征，然后应用多模态融合在共享的嵌入空间中将这些固定的表示形式组合在一起

在这里插入图片描述

存在的缺点

但存在两个主要缺点：
（i）任务/域中的断开：离线特征提取器通常针对与目标任务不同的任务和域进行培训。例如，从人类活动视频中学习到的动作识别功能不适用于通用域GIF视频上的下游视频问答。
（ii）多模态特征中的断开：从不同模态中学习的特征相互独立。例如，动作识别模型通常是从纯视频数据中训练出来的，没有文本输入，但也应用于视频和语言任务。端到端任务特定的微调提供了一种缓解这些固有断开的方法。然而，与大多数现有工作一样，从完整的视频帧序列中提取特征会对内存和计算造成过度需求，这使得直接将特征提取器插入视频语言学习框架以实现高效的端到端微调变得困难甚至不可行。

基于此，我们提出了CLIPBERT，这是一个通用而有效的端到端视频和语言学习框架。

CLIPBERT在每个训练步骤仅从全长视频中稀疏地采样一个或几个短片段。假设是稀疏片段的视觉特征已经捕获了视频中的关键视觉和语义信息，因为连续片段通常包含来自连续场景的相似语义。因此，少量的剪辑就足以用于训练，而不是使用完整的视频。

第二个区别方面涉及模型权重的初始化(即通过预训练进行转移)。直观地说，通过预训练从大规模图像数据集学习的视觉特征也应该有助于视频理解任务，依赖于静态视频帧中的视觉线索。为了研究这一点，我们使用2D架构而不是3D特性作为视频编码的视觉支柱，这使我们能够利用图像-文本预训练的能力来理解视频-文本，同时具有低内存成本和运行效率的优势。

相关工作

视频和语言理解

除了使用固定的特征和同域数据(即仅针对视频文本任务的视频文本预训练)，我们的工作重点是端到端训练和将图像文本预训练应用于视频文本任务。

动作识别

模型通常使用从视频中随机取样的短片段进行训练

基于稀疏采样的CLIPBERT

图1(下)给出了CLIPBERT框架的概述。它采用稀疏采样策略，在每个训练步骤只使用一个或几个样本剪辑，而不是完整的视频。每个采样的剪辑都用一个视觉主干模型独立编码，视觉特征随后被输入一个跨模态模块，该模块提取剪辑及其相关文本表示之间的关系。来自所有抽样剪辑的独立预测被融合在一起(例如，通过均值池化)，以在视频层面获得共识。基于此共识计算特定任务的损失以学习模型参数。

公式
我们表示一个视频文本对为V(用于视频)和S(用于文本序列)。视频节点V进一步表示为N等持续时间的 [ c 1 , c 2 ， … c N ] [c_1, c_2，…c_N] [c1​,c2​，…cN​]。这个标准范例可以表述为:

在这里插入图片描述
F 分别为视觉编码器和语言编码器
上标SG梯度，意味着梯度不能通过两个编码器反向传播
H 是跨模态编码器和预测器，模型之间的编码视频/语言输入和作出预测的关系
p 是视频级预测
在这里插入图片描述

然后基于预测值和真实值计算损失函数。

用于训练的稀疏抽样

在这里插入图片描述
F是视觉/语言编码器。与使用离线视觉/语言编码器的公式1不同，CLIPBERT是端到端可训练的，允许特定任务的损失进一步优化编码器，学习更好的表示。来自所有抽样片段的独立预测被汇总以得出共识。los是基于视频级共识计算的:
在这里插入图片描述
其中G 为预测/得分聚合函数(例如，均值池)。

CLIPBERT的稀疏训练策略可以解释为一种数据增强:在不同的训练步骤中使用来自同一视频的不同片段子集，提高了模型的泛化能力。在这个意义上，它类似于图像分类任务中常用的随机裁剪[56,21]。它还受到了动作识别方法的启发[55,62,66,14]，其中视频分类器是在采样的剪辑上训练的。

模型架构

图2给出了CLIPBERT架构的概述。对于视觉编码器fv，我们使用2D CNN架构resnet - 50

在这里插入图片描述

训练集

COCO Captions [5] and Visual Genome Captions [29]
这两个数据集总共包含560万个图像-文本对，在151K图像

实验

文本到视频检索。
（i） MSRVTT包含10K Y ouTube视频，其中包含200K描述。我们使用7k训练视频进行训练+验证，并报告1K测试集的结果。

为了我们的消融研究。选取中未使用的测试视频中取样1K个视频字幕对来创建一个本地val集。

DiDeMo包含10K Flickr视频，带有40K句注释。

（iii）ActivityNet Captions包含20K Y ouTube视频，并附有100K句注释。培训集包含10K视频，我们使用4.9K视频的val集合来报告结果。
对于MSRVTT，我们评估视频检索的标准语句。对于DiDeMo和ActivityNet字幕，我们按照来评估段落到视频检索.

其中视频的所有句子描述都连接起来，形成一个段落进行检索。

视频问答

i)TGIF-QA包含165K对的QA 和72K GIF视频。
我们实验了3个TGIF-QA任务: 重复动作和状态转换用于选择题QA，框架QA用于开放式QA。
(ii)MSRVTT-QA 基于MSRVTT中的视频和字幕创建，包含10K个视频和243K个开放式问题。
MSRVTT多项选择题测试是一种以视频为问题，以字幕为答案的多项选择题任务。每个视频包含5个字幕，只有一个正面匹配。对于所有的QA任务，我们使用标准的训练/val/测试分割和报告准确性来衡量绩效。

不同数据集的平均视频长度
在这里插入图片描述

稀疏抽样分析

如果没有特别说明，我们从全长视频中随机抽取一帧(Ntrain=1、T=1)进行训练，使用中间帧( N t e s t N_{test} Ntest​=1)进行推理，输入图像大小为448。所有消融结果均在MSRVTT检索本地l和MSRVTT- qa验证组上。

分析1：不需要很大的图片在这里插入图片描述

分析2：不需要密集采样（2帧就够了）
在这里插入图片描述

更多的剪辑有助于推断吗?： 是的，会提高性能
在推断时，我们将来自多个密集抽样剪辑的预测得分作为最终得分。为了说明这种策略是如何影响性能的，我们甚至选取了视频中的{1,2,4,8,16}片段，并在推断时平均他们的个人预测。在本实验中，我们提供了两个不同训练帧数的模型:一个是单帧训练，另一个是双帧训练。两种模型都使用单一剪辑进行训练。在这里插入图片描述
更多的剪辑在训练中有帮助吗?

利用聚合函数作为最终得分，计算训练损失

分数聚合函数:平均池、最大池和LogSumExp

在平均池和最大池中，交叉剪辑池是在logits上执行的，然后是softmax操作符。在LogSumExp中，每个剪辑的日志首先通过一个元素指数运算符提供，然后是一个跨剪辑平均池。

所有模型使用每个剪辑一个帧进行训练，使用16个剪辑进行推理，即T=1和Ntest=16。

在这里插入图片描述

一般来说，添加更多的剪辑会有所帮助，而第二个添加的剪辑可以获得最大的性能增益

稀疏随机抽样 VS 致密均匀采样

直观地说，这种稀疏随机采样策略可以解释为一种数据增强，其中使用视频的不同片段子集来计算不同训练步骤的损失。
在这里插入图片描述

在这里插入图片描述

分析影响

图像-文本预训练的影响

我们得到了以下主要结论:

  • (i)较大的输入图像尺寸有助于提高模型性能，但当图像尺寸大于448时，增益会减小;
  • 从每个剪辑稀疏采样2帧的效果与密集采样16帧的效果相当，表明仅一或两帧就足以进行有效的视频和语言训练;在融合不同帧的信息时，均值池比3D Conv更有效;
  • 更多的推断剪辑有助于提高模型性能;跨片段预测的聚合策略影响最终表现;
  • (iv)稀疏(随机)采样比密集均匀采样更有效，同时存储和计算效率更高;
  • 预训练图像-文本对视频-文本任务有好处;
  • vi)端到端训练提高模型性能。

与最新技术的比较

文本到视频检索。

在这里插入图片描述

这些方法是在HowTo100M[46]的136M剪辑标题对上预先训练的。

我们期望通过在训练和推理过程中采样更多的片段，CLIPBERT的性能会得到进一步的提高。同时，我们还鼓励今后的工作探索如何将额外的输入信号（如音频）组合到CLIPBERT框架中，以获得更好的性能。

视频问答

总结

我们提出了CLIPBERT，一个用于端到端视频和语言学习的通用框架，它采用稀疏采样，在每个训练步骤中只使用视频中的几个采样短片段。不同任务的实验表明，CclipBER优于（或等同于）具有密集采样的离线特征的最先进的方法，这表明“少是多”原则在实践中是非常有效的。综合消融研究揭示了导致这一成功的几个关键因素，包括稀疏采样、端到端训练和图像文本预训练。

由于CLIPBERT是基于2D CNN设计的，并且是在图像文本语料库上预训练的，因此它也直接适用于图像文本下游任务，例如基于图像的问答。

帅帅梁
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CVPR 2021 Less is More: CLIP BERT for Video-and-Language Learning via Sparse Sampling
smile909的博客
04-15 2437
动机 视频和语言学习（如视频问答）的规范方法要求神经模型从离线提取的密集视频特征和语言模型的文本特征中学习。 在这个互动的动态视觉世界中，人类通过语言、符号和图形相互交流。共同理解视觉和本线索是智能主体解读物理世界中多模态信号的必备能力。为了测试这种能力，已经设计了一系列基于真实视频的任务，包括文本到视频的重审、视频字幕、视频问题回答和视频时刻重复。处理这些跨模态任务的实际范例是首先从预训练的视觉模型中提取密集的视频特征，从预训练的语言模型中提取文本特征，然后应用多模态融合将这些固定的表征在共享的嵌入空间
Semi-supervised learning via sparse model
02-09
Graph-based Semi-Supervised Learning (SSL) methods are the widely used SSL methods due to their high accuracy. They can well meet the manifold assumption with high computational cost, but don't meet the cluster assumption. In this paper, we propose a Semi-supervised learning via SPArse (SSPA) model. Since SSPA uses sparse matrix multiplication to depict the adjacency relations among samples, SSPA can approximate low dimensional manifold structure of samples with lower computational complexit
CLIPBERT(2021 CVPR)
大肉包的博客
09-29 1179
CLIPBERT 稀疏采样
Less is More: Task-aware Layer-wise Distillation for Language Model Compression
最新发布
m0_46092647的博客
03-21 396
因此，若能找到一种技术，将模型的参数进行压缩，并且能使得压缩后的模型的性能与原始模型差距不大，这样的技术将具有很大的应用场景。知识蒸馏就是这样一种模型的压缩技术，通过让学生模型（一个参数量小的模型）去学习教师模型（高性能的模型，大参数量的模型）的中间层表示或者最终的输出分布信息，使得学生模型能具有与教师模型相似的性能。最小化这样一个损失，第一项损失表示的是最小化学生输出与标签的损失，第二项损失是最小化学生最终输出的向量与教师的损失，第三项损失是最小化教师中间层表示与学生中间层表示的损失。
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
​CVPR2021最佳学生论文提名：Less is More
我爱计算机视觉
07-11 239
本文转载自极市平台。作者丨小马导读本文介绍的是今年CVPR的最佳学生论文提名的工作：ClipBert。这篇论文解决了以前工作中对于视频-语言任务训练消耗大、性能不高、多模态特征提取时没有...
视频问答数据集解析和可视化
Horizon2333的博客
04-02 4226
最近在学习视频问答相关的内容，相关的数据集找起来比较麻烦，网上也没有太多介绍，因此写这篇博客，总结一下常用的数据集，对他们的数据解析方式进行介绍，并进行简单的可视化。 1. MSVD-QA 该数据集共有1970个视频，大小约为1.7G 数据集官方网站：link 数据集视频下载网站：link (相比官网命名更规律) 数据集标注下载网站：link 标注文件格式为json,每个标注都是一个dict 标注加载代码： import json with open("val_qa.json") as f: ann
谷歌多模态预训练框架：视频字幕、动作分类、问答全部实现SOTA（CVPR 2022）
OpenCV中文网
06-14 539
关注公众号，发现CV技术之美本文转自机器之心，原文选自Google AI Blog，作者：Paul Hongsuck Seo和Arsha Nagrani，编辑：泽南。一个模型在五项基准上都实现了重大进步，该研究已被 CVPR 2022 大会收录。多模态视频字幕系统利用视频帧和语音来生成视频的自然语言描述（字幕）。这样的系统是朝着构建多模态对话系统的长期目标前进的一步，后者...
Games101 计算机图形学课程笔记： Lecture 06 Rasterization 2 (Antialiasing and Z-Buffering)
almost_afei的博客
03-25 346
目录走样 aliasingSampling Artifacts频域解释傅里叶变换走样滤波卷积反走样通过超采样来反走样 (MSAA) 走样 aliasing 上节的光栅化后会出现走样的结果，图像会出现锯齿，明显失真。 Sampling Artifacts 在图形学中，artifacts指的是Errors / Mistakes / Inaccuracies，指一些不准确或者与预期不一样的结果。 SA有以下几种： Jaggies (Staircase Pattern Moiré Patterns in I
TSM数据密集采样，稀疏采样和二次采样
weixin_43444314的博客
01-07 2508
https://www.freesion.com/article/22801370967/ 密集采样 def _sample_indices(self, record): if self.dense_sample: # i3d dense sample # 密集随机采样 sample_pos = max(1, 1 + record.num_frames - 64) t_stride = 64 // self.num_segments start_id
MSR-VTT 10K v2.0.rar
01-03
对MSR数据集的json文件split划分为train/val/test，train: video0 : video6512 (6513)；val: video6513 : video7009 (497)；test: video7010 : video9999 (2990) 。以及相应的读取写入json文件的python代码
Nonnegative Sparse and KNN graph for semi-supervised learning
02-06
For the graph-based semi-supervised learning, the performance of a classifier is very sensitive to the structure of the graph. So constructing a good graph to represent data, a proper structure for ...
Consistent-Sparse-Deep-Learning-Theory-and-Computation
03-08
一致的稀疏深度学习：理论与计算我们提出了一种类似于常客的方法来学习稀疏DNN，并证明其在贝叶斯框架下的一致性。 稀疏DNN的结构可以在经过训练的贝叶斯神经网络与常规先验混合的基础上，使用基于拉普拉斯近似的...
Multimodal Sparse Representation-Based Classification for Lung Needle Biopsy Images
02-21
In this study, a novel method, multimodal sparse representation-based classification (mSRC), is proposed for classifying lung needle biopsy images. In the data acquisition procedure of our method, ...
SparseNet：基于scikit学习的Sparse-Net实现
02-04
Sparse-Net基于scikit-learn的实现，这是一种无监督的体系结构，有助于进行特征检测。 它由多层稀疏编码组成，可将特征分为权重和字典两部分。 字典表示特征的复杂结构（如边缘等），权重表示字典中的特定特征是否...
CVPR 近5年最佳论文汇总，最新热门研究方向有这些
学姐带你玩AI的博客
07-04 521
6月刚结束的CVPR会议大家关注了吗？不得不说真的是神仙打架。我拜读了一下，今年的best paper质量依然炸裂，能从这么多优质论文中脱颖而出，用“万里挑一”形容一点也不过分。作为计算机视觉领域最具影响力的会议之一，CVPR往年的最佳论文也都非常有研究价值，所以今天我整理了近5年CVPR的最佳论文（2019-2023）来和大家分享。资料已打包，文末领取​。
AAAI 2020 Reasoning with Heterogeneous Graph Alignment for Video Question Answering∗
smile909的博客
04-24 630
动机 视频问答（VideoQA）的推理通常涉及两个领域的异构数据，即时空视频内容和语言文字序列。现有的方法主要集中在多模态的表示和融合方面，在对齐和推理方面的研究还很少。 近年来，多模态问答技术取得了显著进展，其中最具代表性的是视觉问答(VQA)和视频问答（VideoQA），其中VideoQA将VQA扩展到视频领域，对时空理解和推理提出了更高的要求。视频问答（VideoQA）旨在自动推理视频和文本问题的正确答案，近年来受到越来越多的关注。VideoQA的推理通常涉及两个领域的异构数据，即时空视频内容和语
一文概览 CVPR2021 最新18篇 Oral 论文
weixin_40920183的博客
03-07 4334
↑ 点击蓝字 关注人工智能与算法学习文章在Github上持续更新，欢迎大家 star/fork（点击阅读原文即可跳转）：https://github.com/extreme-a...
Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning
06-04
《Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning》是一篇关于视频处理的论文。该论文提出了一种新的视频处理模型，即 Sparse Video Tubes（SVT），旨在实现图像和视频的联合学习。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值