VLP：《视觉-语言预训练》综述

已于 2024-02-25 23:08:20 修改
阅读量809 收藏 2
点赞数 1
分类专栏： VLM/多模态 文章标签： 人工智能
于 2022-12-12 18:16:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128291191
版权

中科院自动化所最新《视觉-语言预训练》综述

转载来自公众号：机器学习算法与自然语言处理

论文标题：

VLP: A Survey on Vision-Language Pre-training

论文链接：https://www.zhuanzhi.ai/paper/426bf1325e3132ff5a4aa1cc90c27f3c

01摘要

在过去几年中，预训练模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单模态领域带入了一个新时代。大量工作表明它们有利于下游单模态任务，并可以避免从头开始训练新模型。那么这样的预训练模型能否应用于多模态任务呢？研究人员已经探索了这个问题并取得了重大进展。本文调查了视觉-语言预训练 (VLP) 的最新进展和新的前沿，包括图像-文本和视频-文本预训练。为了让读者更好地全面掌握 VLP，我们首先从特征提取、模型架构、预训练目标、预训练数据集和下游任务五个方面回顾其最近的进展。然后，我们详

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
大语言模型架构设计
liguandong
05-21 1507
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
不知道如何提高视觉语言大模型？浙大与联汇研究院提出新型多维度评测框架...
Paper weekly
07-15 637
前言视觉语言预训练（VLP）模型最近成功地促进了许多跨多模态的下游任务。大多数现有工作通过比较微调的下游任务性能来评估其系统。然而，只有平均下游任务精度很难评判一个 VLP 模型的优点和缺点。另外，下游任务千千万万，相信很多小伙伴们和我一样，对众多下游任务了解不多，更不用说用具体的下游任务去评测模型啦。今天就给大家安利一款不需要下游任务也能评测预训练模型的工具吧，感兴趣的...
论文笔记--视觉语言模型（VLP）综述 A Survey of Vision-Language Pre-Trained Models
m0_57572083的博客
08-01 2362
视觉语言模型（VLP）综述 A Survey of Vision-Language Pre-Trained Models论文笔记
探索未来：视觉与语言预训练（VLP）领域的最新进展
最新发布
gitblog_00100的博客
05-25 268
探索未来：视觉与语言预训练（VLP）领域的最新进展 维护者：陈飞龙 项目地址:https://gitcode.com/phellonchen/awesome-Vision-and-Language-Pre-training 最后更新：2023/03/04 在人工智能领域，视觉和语言的结合正成为跨模态理解的核心。最近的进步在视觉与语言预训练（VLP）模型上，开启了新的可能性。本文将带你了解这一领域的...
综述 | 最新视觉-语言预训练综述
zenRRan的博客
03-03 570
每天给你送来NLP技术干货！来自：人工智能前沿讲习论文标题：VLP: A Survey on Vision-Language Pre-training论文链接：https://arxiv....
VLP、多模态视频文本（1）
qq_41458274的博客
09-29 381
视频本质上包含多种形式，并且已被用作测试AI系统如何感知世界的缩影。在本章中，我们对视觉语言预训练（VLP）在视频文本任务中的应用进行了系统回顾。我们从介绍流行的视频文本任务开始。我们回顾了典型视频文本模型的架构，该架构包括视频编码器、文本编码器和多模态融合模块。我们将代表性的视频语言模型分为两类：（i）双编码器，其中视频和文本分别编码，使用轻量级的多模态融合层或操作（如点积）来融合视频和文本特征；
【VLP（Visual-Linguistic Pretraining）模型相关基本知识】
learning5201的博客
04-23 725
关于输入嵌入（Input Embedding），图像编码器（Image Encoder），文本编码器（Text Encoder），Transformer编码器（Transformer Encoder），跨模态注意力（Cross-Modal Attention），解码器（Decoder），视觉推理（Visual Reasoning），双向交互模块（Bi-Directional Interaction Module）跨模态注意力层用于图像和文本之间的交互，即图像特征与文本特征之间的关系。
VLP、多模态图文任务（3）高级主题
qq_41458274的博客
09-26 277
随着以图像和文本为基础的视觉语言预训练研究日益增长，许多其他有趣的研究主题也应运而生。以下，我们对每个单独的主题进行简要讨论，例如大模型、小样本学习、统一建模、鲁棒性评估等。
VLP:图像字幕和问答的视觉语言预训练
05-29
我们已经发布了数据集上的预训练模型，以及用于图像字幕的 COCO Captions 和 Flickr30k 以及 VQA 的 VQA 2.0 上的微调模型。 安装 Conda 环境（选项 I，推荐） 递归 ssh 克隆 repo 以包含coco和pythia子模块。 ...
awesome-vision-language-pretraining-papers:视觉和语言预训练模型（VL-PTM）的最新进展
04-22
用于图像字幕和VQA的统一视觉语言预训练，AAAI 2020， [code] ，（ VLP ） 单元：学习通用图像文本表示形式，ECCV 2020， [代码] 弱监督有助于词对象对齐的出现并改善视觉语言任务，arXiv 2019/12 In
Velodyne-LiDAR-VLP-16-User-Manual.pdf
10-08
《Velodyne激光雷达VLP-16用户手册》是一份详细介绍如何安装、验证、操作和诊断Velodyne公司的VLP-16、Puck LITE和Puck Hi-Res传感器的技术文档。这份手册由Velodyne LiDAR, Inc.在2018年发布，包含了所有相关的商标...
VeloView-VLP-16-HiRes.yaml
04-24
Velodyne 16线雷达标定文件,使用激光雷达的重要文件,文件是从官方自带文件转化而来,可以放心使用.
VLP-16激光雷达使用手册.pdf
09-23
VLP-16激光雷达使用手册.pdf 本文档主要讲解了VLP-16激光雷达使用手册的相关知识点，涵盖了激光雷达的基本原理、操作模式、安装方法、数据处理和故障诊断等方面。 一、激光雷达基本原理 激光雷达（Light ...
视觉-语言预训练模型综述
寸先生的AI道路
03-14 7940
Li F, Zhang H, Zhang Y F, et al. Vision-Language Intelligence: Tasks, Representation Learning, and Large Models[J]. arXiv preprint arXiv:2203.01922, 2022. 按照时间顺序将VLP模型分为三个阶段：特定任务的方法，视觉语言预训练(VLP)方法，以及由大规模弱标记数据加持的更大的模型三大类。 第一阶段：特定任务方法 三类主流任务：Image Captioni
统一单双流结构的VLP模型，在三个预训练任务中刷新SOTA！
lKin_Chueng的博客
03-19 230
一直以来多模态面临着“描述相似对象”的标注问题，即相关部分特征进行对齐，再进行特征融合。本期文章通过图片-文本对比学习、图片-文本匹配、掩码语言模型，三个预训练任务，并提出动量蒸馏对抗数据噪音、改进训练过程，在多个任务上刷新了SOTA。
预训练语言模型概述（持续更新ing...）
诸神缄默不语的博客
10-08 1482
本文介绍预训练语言模型。
【深度学习】视觉-语言预训练入门指南
fengdu78的博客
02-02 562
Datawhale干货作者：张义杰 单位：中国移动云能力中心前言视觉-语言 (Vision-Language, VL) 是计算机视觉和自然语言处理这两个研究领域之间形成的交叉领域，旨在赋予 AI 系统从多模态数据中学习有效信息的能力。受 NLP 预训练语言模型（如BERT\GPT等）的启发，视觉-语言预训练 (Vision-Language Pre-training, VLP) 逐渐受到关注，...
【自然语言处理】【多模态】多模态综述：视觉语言预训练模型
bqw的博客
07-09 6372
多模态预训练模型综述、模型结构、损失函数、下游任务、CLIP
字节跳动李航：人工智能需要新的范式和理论
Kaiyuan_sjtu的博客
12-12 386
作者|李航整理|机器之心本文首先通过字节跳动人工智能实验室的一些研究成果介绍最前沿的人工智能技术，总结这一两年来人工智能领域的研究发展动态。之后本文分享了对人工智能领域长期发展的看法。前言冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机和人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制，为未来建立统一的计算理论打下基础。事实上，建立计算机和人脑的统一计算理论是冯 ...
视觉语言预训练 VLP
08-26
视觉语言预训练(VLP)是一种结合视觉和语言的预训练模型，它能够学习到视觉和语言之间的通用表示。这种模型可以应用于多模态任务，如图像-文本和视频-文本预训练。VLP模型的发展是计算机视觉和自然语言处理领域的重大进展之一。 VLP模型通过使用不同的预训练目标来进行训练。这些预训练目标可以分为四类：补全、匹配、时序和特定类型。补全预训练目标是指根据给定的部分信息来预测缺失的信息，匹配预训练目标是指通过比较视觉和语言之间的匹配程度来进行训练，时序预训练目标是指根据序列中的上下文关系进行训练，特定类型预训练目标是指根据特定类型的任务进行训练。 VLP模型还可以利用下游任务的训练目标来进行预训练。例如，对于视觉问答(VQA)和视觉描述(VC)等任务，VLP模型可以使用融合表示并应用全连接层来对预定义的答案进行分类。此外，VLP模型还可以通过自回归解码器生成图像或视频的文本描述。 综上所述，视觉语言预训练(VLP)是一种结合视觉和语言的预训练模型，它可以用于多模态任务，并通过不同的预训练目标和下游任务进行训练。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [综述 | 最新视觉-语言预训练综述](https://blog.csdn.net/qq_27590277/article/details/123267583)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [【自然语言处理】【多模态】多模态综述：视觉语言预训练模型](https://blog.csdn.net/bqw18744018044/article/details/125697252)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值