VLM（Vision-Language Models）技术简介

最新推荐文章于 2025-03-28 10:15:52 发布
最新推荐文章于 2025-03-28 10:15:52 发布
阅读量1.6k 收藏 2
点赞数 1
分类专栏： # VLM/文➜图&视频 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134085850
版权
本文介绍了视觉-语言模型（VLMs）的预训练方法，包括对比式、生成式和对齐式目标函数。VLMs通过大规模无监督学习，减少了对人工标注数据的依赖，实现零样本预测。文中还探讨了典型算法如CLIP、ALIGN等，并讨论了VLM在视觉任务中的迁移学习和知识蒸馏应用，以及未来的研究方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://www.yuque.com/meta95/hmc3l4/pgq9hn6pg5gxvxvh?singleDoc# 《用于视觉任务的VLM技术简介》

说明：本文是《Vision-Language Models for Vision Tasks: A Survey》一文的阅读笔记。

许多视觉识别研究在深度神经网络（DNNs）训练中依赖大量人工标注数据，并且通常为每个单独的视觉识别任务训练一个独立的DNN，这种方式繁琐且耗时。Vision-Language Models的出现为解决这两个挑战带来了希望。通过从互联网上大量的图像-文本对中学习到丰富的视觉-语言关联，就能够在只使用一个单一VLM模型的情况下实现对各种视觉任务的zero-shot预测，并且取得很好的效果。

为什么要用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
What matters when building vision-language models?
c_cpp_csharp的专栏
05-22 176
大型语言模型和视觉transformer的改进推动了人们对视觉语言模型（VLM）日益增长的兴趣。尽管有大量关于这一主题的文献，但我们观察到，关于VLM设计的关键决策往往是不合理的。我们认为，这些未经支持的决策阻碍了该领域的进展，因为它们很难确定哪些选择可以提高模型性能。为了解决这个问题，我们围绕预训练的模型、架构选择、数据和训练方法进行了广泛的实验。我们对研究结果的整合包括Idefics2的开发，这是一种具有80亿个参数的高效基础VLM。
LLM/VLM进行票据识别工作
qq_43814415的博客
02-25 1055
​票据识别任务的需求是给定不同类型的票据图像，提取出指定的字段值，以json格式给出结构化信息。提取结果示例：来自智能结构化 - 文字识别OCR目前的范式包括OCR，OCR+LLM, OCR+VLM，VLM四种方法。
Vision Language Models in Autonomous Driving and Intelligent Transportation Systems
weixin_46254816的博客
01-22 1695
视觉语言模型（VLM）在自动驾驶（AD）和智能交通系统（ITS）领域的应用由于其出色的性能和利用大型语言模型（LLM）的能力而引起了广泛的关注。通过整合语言数据，车辆和交通系统能够深入了解现实世界的环境，提高驾驶安全性和效率。在这项工作中，我们提出了一个全面的调查在这一领域的语言模型的进展，包括当前的模型和数据集。此外，我们还探讨了潜在的应用和新兴的研究方向。最后，我们深入讨论了挑战和研究差距。本文旨在为研究者提供目前的工作和未来的发展趋势的VLM在AD和ITS。
vlm模型使用的时候温度设置是指什么
weixin_41012399的博客
03-28 522
温度是控制生成模型输出风格的重要参数，直接影响生成结果的随机性和多样性。在使用 VLM 模型时，合理设置温度可以帮助你根据任务需求获得更理想的结果。如果你的任务需要精确回答，可以选择较低的温度；如果需要创造性和多样性，则可以适当提高温度。它主要影响模型输出的概率分布，从而决定生成结果的创造性、多样性和确定性。在使用VLM（Vision-Language Model，视觉-语言模型）或其他生成式模型时，如果你有具体的任务场景或问题，可以进一步描述，我可以为你提供更详细的建议！是经过温度调整后的概率分布。
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 2637
本文主要介绍了 vision-language 模型在视觉任务中的使用
视觉语言模型：融合视觉与语言的未来
m0_56022510的博客
07-06 2514
视觉语言模型（Vision-Language Models, VLMs）是能够同时处理和理解视觉（图像）和语言（文本）两种模态信息的人工智能模型。这种模型结合了计算机视觉和自然语言处理的技术，使得它们能够在视觉问答、图像描述生成、文本到图像搜索等复杂任务中表现出色。它是将transformer架构应用到计算机视觉领域的成功案例。具体来说就是将传统CNN中图像特征提取的全局替换为注意力机制。视觉语言模型在多个领域展示了巨大的潜力，包括图像检索、生成式AI、图像分割、医疗诊断和机器人技术。
Vision-Language Models for Vision Tasks: A Survey
xddwz的博客
04-01 1965
文本特征提取模块，通常采用Transformer结构及其一系列变体作为基础结构。图像特征提取模块，通常采用CNN（以ResNet结构为典型代表）或者Transformer（如ViT、MAE等结构）来提取图像特征。特征融合模块在VLM预训练模型中，最关键的问题是将文本和图像这两种模态的信息建立联系，所以下面对其中的特征融合模块做详细介绍。
[复现] VLMRM: Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning
AlphaRui的博客
06-27 1132
报错：RuntimeError: The MUJOCO_EGL_DEVICE_ID environment variable must be an integer between 0 and -1 (inclusive), got 0.报错：docker: Error response from daemon: unknown or invalid runtime name: nvidia。也不确定是不是改完就好了。解决：原始代码设置的渲染尺寸是 (480, 480) 改为 (480, 480, 3)
Vision-Language Models for Vision TasksA Survey.pdf
08-16
这篇论文对视觉任务中的视觉语言模型（VLMs）进行了系统的综述。论文主要讨论了视觉识别中传统以深度神经网络（DNNs）为基础的模式面临的挑战，以及VLMs如何通过从大规模的图像-文本对中学习丰富的视觉语言关联来...
论文阅读Vision-Language Models for Vision Tasks A Survey思维导图
11-16
Vision-Language Models (VLMs)是一种深入学习技术，它可以将图像和文本信息融合在一起，以便更好地理解和处理图像信息。本survey对VLMs的发展进行了系统的总结和分析。 VLMs的发展历程 从传统机器学习到深度学习...
论文精读系列1：Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving
congcongnanian97的博客
11-25 1571
Senna：大模型+端到端
简述视觉语言模型（Vision-Language Models, VLMs）
m0_61789994的博客
01-10 2987
视觉语言模型是一种能够同时处理图像和文本数据的多模态神经网络模型。其核心任务是通过跨模态的表示学习，理解和生成与视觉内容相关的语言信息，或者从语言信息中生成与之对应的视觉内容。相比于传统的单模态模型，视觉语言模型的优势在于它能够结合视觉信息和语言信息进行多方面的推理和生成。例如，在图像描述任务中，视觉语言模型需要理解图像中的对象、场景、动作等信息，并通过语言生成准确的描述。反之，在图像问答任务中，模型需要根据自然语言问题从图像中提取相关信息，并给出准确的答案。
Vision-Language Models for Vision Tasks: A Survey 论文解读
qq_61786525的博客
11-21 1811
总体而言，VLM预训练通过不同的跨模态目标建模视觉-语言关联，例如图像-文本对比学习、掩码跨模态建模、图像到文本生成，以及图像-文本/区域-单词匹配。同时，还探索了各种单模态目标以充分挖掘各自模态的数据潜力，例如针对图像模态的掩码图像建模和针对文本模态的掩码语言建模。从全局层面来看，近期的VLM预训练专注于学习视觉-语言的全局关联，这对于图像级别的识别任务（如图像分类）非常有益。
训练VLM(视觉语言模型)的经验
AIBigModel的博客
10-21 1582
知乎：lym链接：https://zhuanlan.zhihu.com/p/890327005基于prompt确实不行（情况包括格式输出不稳定、格式输出基本不对、任务不完全会、任务完全不会等情况，难度逐渐加大），选择上SFT微调。业务场景基本用不到强化学习，强化解决的是最后一公里的问题，可以理解为有两种非常接近的输出（这两种输出都非常接近目标输出，此时已经解决了90%的问题），强化学习会对相同的输入，打压其中一种不希望的输出，同时增强另一种更接近目标的希望的输出（从DPO loss就可以看出）。
微型化的视觉语言模型（Visual Language Model, VLM）
抟土成人祖，炼石补青天。眼中览银河，手可摘星辰。
08-16 425
TinyGPT-V是一种微型化的视觉语言模型（Visual Language Model, VLM），结合了视觉和语言理解能力，能够处理涉及图像和文本的任务。这类模型通常在计算机视觉和自然语言处理的交叉领域发挥作用，比如图像描述生成、视觉问答（Visual Question Answering, VQA）、图像搜索等任务。TinyGPT-V代表了视觉语言模型在计算资源受限环境中的一种新兴方向。通过微型化的设计，它能够在保持一定性能的前提下，在资源受限的设备上实现多模态任务的处理，具有广泛的应用前景。
coop：Learning to Prompt for Vision-Language Models
Seaern的博客
03-04 5194
论文链接https://arxiv.org/pdf/2109.01134v1.pdf源码链接https://github.com/KaiyangZhou/CoOp 一、摘要 像CLIP这样的大型预训练视觉语言模型在学习表征方面显示出了巨大的潜力，这些表征可在广泛的下游任务中迁移。与传统的基于离散标签的表示学习不同，视觉语言的预训练将图像和文本对齐在一个共同的特征空间中，通过提示将零射转移到任何下游任务，即从描述感兴趣类的自然语言合成分类权值。在这项工作中,我们表明,部署的一个主要..
Learning to Prompt for Vision-Language Models
qq_43775680的博客
04-04 7189
1.问题背景 识别正确的提示（识别精度尽可能高的提示），通常需要花费非常多的时间来进行单词的调 整，在单词中的一个轻微改变都可以使得在性能上有巨大的不同。但是可以发现即使是做了大量的调整，最后的精度可能不是最优的。 受到NLP领域中prompt learning研究的启发，本文提出了Context Optimization（CoOp）， 具体来说固定整个预训练模型的参数，然后对text encoder中的提示词进行学习，自动化提示工程。 对于一个新的类别分类任务来说，一个描述与任务相关的...
论文解读：(CoOp)Learning to Prompt for Vision-Language Models
weixin_50917576的博客
04-17 5047
在这项工作中，我们展示了在实践中部署这样的模型的主要挑战是快速工程，这需要领域的专业知识，并且非常耗时——人们需要花费大量的时间在单词调优上，因为措辞的微小变化可能会对性能产生巨大的影响。受自然语言处理(NLP)中提示学习研究的最新进展的启发，我们提出了上下文优化(CoOp)，这是一种简单的方法，专门用于将类似clip的视觉语言模型用于下游图像识别。具体地说，CoOp用可学习的向量对提示的上下文词建模，而整个预训练的参数保持固定。
【计算机视觉】Vision and Language Pre-Trained Models算法介绍合集（一）
wzk4869的博客
09-17 889
【计算机视觉】Vision and Language Pre-Trained Models算法介绍合集（一）
VLM类型
最新发布
03-30
<think>嗯，用户想了解计算机视觉或机器学习中的VLM类型。首先，我需要明确VLM的全称是什么。VLM通常指Vision-Language Models，即视觉-语言模型。这类模型结合了视觉和文本处理，能够理解图像和语言之间的联系。 接下来，我需要回忆不同类型的VLM。根据结构，可能有单流和双流模型之分。比如，CLIP是双流结构，分别处理图像和文本，再对齐特征；而FLAVA可能是单流，将两种模态输入同一网络。应用方面，VLM可用于图像描述、视觉问答、多模态检索等。另外，还有基于生成式的方法，比如使用Transformer解码器生成文本描述。 然后，要考虑是否有其他可能的VLM分类方式。例如，按训练数据规模分为大规模预训练和小样本学习；或者按任务类型分为生成式和判别式。可能需要查阅相关资料确认这些分类是否准确。 用户提供的引用中，提到HomeRobot的OVMM基准，涉及感知和语言理解，可能与VLM的应用相关，比如开放词汇的物体识别和操作。引用[1]中的MDFL可能与多模态特征学习有关，但不确定是否直接相关。需要确保回答准确，引用相关文献时要正确对应。 还要注意用户可能对具体模型例子感兴趣，比如ALBEF、BLIP、Flamingo等，这些都属于VLM的不同类型。同时，区分模型架构（如基于Transformer）和训练方法（对比学习、生成式预训练）也很重要。 最后，生成相关问题时要覆盖分类、应用、挑战和评估等方面，帮助用户深入理解。确保回答结构清晰，分点明确，符合用户要求的格式。</think>### VLM类型（Vision-Language Models） 视觉-语言模型（VLM）通过融合视觉和文本信息实现多模态理解与生成。以下是其主要分类及典型方法： --- #### 1. **按架构分类** - **单流模型（Single-Stream）** 将图像
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值