VILA - 一系列视觉语言模型

最新推荐文章于 2025-05-10 18:16:06 发布
最新推荐文章于 2025-05-10 18:16:06 发布
阅读量1.5k 收藏 24
点赞数 21
分类专栏： # AI 开源项目 文章标签： 语言模型 人工智能 自然语言处理 VLA 训练 推理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/145067220
版权

文章目录

一、关于 VILA

VILA是一系列最先进的视觉语言模型（VLM），适用于边缘、数据中心和云的各种多模态AI任务。

💡新闻

  • [2025/1]截至2025年1月6日，VILA现已成为新的Cosmos Nemotron视觉语言模型的一部分。
  • [2024/12]我们发布了NVILA（又名VILA2.0），它探索了多模态设计的全栈效率，实现了更便宜的培训、更快的部署和更好的性能。
  • [2024/12]我们发布了支持长视频理解的LongVILA，具有超过1M上下文长度的长上下文VLM和多模态序列并行系统。
  • [2024/10]VILA-M3，一款基于VILA1.5微调的SOTA医疗VLM发布！VILA-M3的性能明显优于Llava-Med，与Med-Double持平，并且完全开源！代码 模型
  • [2024/10]我们发布VILA-U：集成了视频、图像、语言理解和生成的统一基础模型。
  • [2024/07]VILA1.5也在MLVU测试排行榜上排名第一（OSS模型）。
  • [2024/06]VILA1.5现在是最好的开源VLMMMMU排行榜和视频-MME排行榜！
  • [2024/05]我们发布了提供视频理解能力的VILA-1.5，VILA-1.5带有四种型号尺寸：3B/8B/13B/40B。

性能

图像基准测试

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

视频基准测试

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

高效部署

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

注意：在批处理大小=1时使用TinyChat后端进行测量。

推理性能

解码吞吐量（令牌/秒）
A1004090Orin
NVILA-3B-基线140.6190.542.7
NVILA-3B-TinyChat184.3230.545.0
NVILA-Lite-3B-Baseline142.3190.041.3
NVILA-Lite-3B-TinyChat186.0233.944.9
NVILA-8B-基线82.161.911.6
NVILA-8B-TinyChat186.8162.728.1
NVILA-Lite-8B-Baseline84.062.011.6
NVILA-Lite-8B-TinyChat181.8167.532.8
NVILA-Video-8B-Baseline*73.258.410.9
NVILA-Video-8B-TinyChat*151.8145.032.3
TTFT（第一个令牌的时间）（秒）
A1004090Orin
NVILA-3B-基线0.03290.02690.1173
NVILA-3B-TinyChat0.02600.01880.1359
NVILA-Lite-3B-Baseline0.03180.02740.1195
NVILA-Lite-3B-TinyChat0.03140.01910.1241
NVILA-8B-基线0.04340.05730.4222
NVILA-8B-TinyChat0.04520.03560.2748
NVILA-Lite-8B-Baseline0.04460.04580.2507
NVILA-Lite-8B-TinyChat0.03910.02970.2097
NVILA-Video-8B-Baseline*0.71900.88405.8236
NVILA-Video-8B-TinyChat*

注意：使用TinyChat后端测量，批量大小=1，dynamic_s2禁用，num_video_frames=64。我们为Tinychat使用W4A16 LLM和W8A8 Vision Tower，基线精度为FP16。 *：使用视频字幕任务测量。否则，使用图像字幕任务测量。

二、VILA示例

1、视频字幕

7ko9e-AGmbM.12_0_217_out. mp4

提示：详细阐述视频的视觉和叙事元素。

描述：视频显示，一个人的手在白色表面上工作。他们正在折叠一块带有蓝白相间格子图案的织物。织物被折叠成更小、更紧凑的形状。这个人的指甲被漆成红色，他们穿着一件黑红相间的衣服。表面上还有一把尺子和一支铅笔，这表明这个过程涉及测量和精度。

2、语境学习

img

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3、多图像推理

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4、Jetson Orin上的VILA

视频

5、VILA on RTX 4090

vila_4090_two_cars_3x. mp4

三、安装

1、安装Python 发行版。

2、在环境中安装必要的Python包。

./environment_setup.sh vila

3、（可选）如果您是拥有wandb帐户的NVIDIA员工，请安装onelogger并通过在llava/train/args.py中将training_args.use_one_logger设置为True来启用它。

pip install --index-url=https://sc-hw-artf.nvidia.com/artifactory/api/pypi/hwinf-mlwfo-pypi/simple --upgrade one-logger-utils

四、训练

VILA训练包含三个步骤，具体超参数请查看脚本/v1_5文件夹：

步骤1：对齐

我们利用LLaVA-CC3M-Pretrain-595K数据集来对齐文本和视觉模式。

第1阶段脚本采用两个参数，它可以在单个8xA100节点上运行。

bash scripts/NVILA-Lite/align.sh Efficient-Large-Model/Qwen2-VL-7B-Instruct <alias to data>

训练好的模型将保存到runs/train/nvila-8b-align。

步骤-1.5：

bash scripts/NVILA-Lite/stage15.sh runs/train/nvila-8b-align/model <alias to data>

训练好的模型将保存到runs/train/nvila-8b-align-1.5。

第二步：预训练

我们使用MMC4和Coyo数据集来训练具有交错图像-文本对的VLM。

bash scripts/NVILA-Lite/pretrain.sh runs/train/nvila-8b-align-1.5 <alias to data>

训练好的模型将被保存到runs/train/nvila-8b-pretraining。

步骤3：监督微调

这是VILA训练的最后阶段，我们调整模型以遵循M3IT、FLAN和ShareGPT4V子集上的多模态指令。此阶段在8xA100节点上运行。

bash scripts/NVILA-Lite/sft.sh runs/train/nvila-8b-pretraining <alias to data>

训练好的模型将被保存到runs/train/nvila-8b-SFT。

五、评估

我们引入了vila-eval命令来简化评估。一旦准备好数据，评估可以通过

MODEL_NAME=NVILA-15B
MODEL_ID=Efficient-Large-Model/$MODEL_NAME
huggingface-cli download $MODEL_ID

vila-eval \
    --model-name $MODEL_NAME \
    --model-path $MODEL_ID \
    --conv-mode auto \
    --tags-include local

它将启动所有评估并返回汇总结果。

六、推理

我们提供vila-infer，用于快速推断用户提示和图像。

# image description
vila-infer \
    --model-path Efficient-Large-Model/NVILA-15B \
    --conv-mode auto \
    --text "Please describe the image" \
    --media demo_images/demo_img.png

# video description
vila-infer \
    --model-path Efficient-Large-Model/NVILA-15B \
    --conv-mode auto \
    --text "Please describe the video" \
    --media https://huggingface.co/datasets/Efficient-Large-Model/VILA-inference-demos/resolve/main/OAI-sora-tokyo-walk.mp4

vila-infer 还兼容VILA-1.5型号。例如：

vila-infer \
    --model-path Efficient-Large-Model/VILA1.5-3b \
    --conv-mode vicuna_v1 \
    --text "Please describe the image" \
    --media demo_images/demo_img.png

vila-infer \
    --model-path Efficient-Large-Model/VILA1.5-3b \
    --conv-mode vicuna_v1 \
    --text "Please describe the video" \
    --media https://huggingface.co/datasets/Efficient-Large-Model/VILA-inference-demos/resolve/main/OAI-sora-tokyo-walk.mp4

vila-infer \
    --model-path Efficient-Large-Model/NVILA-15B \
    --conv-mode auto \
    --text "Please describe the video" \
    --media https://huggingface.co/datasets/Efficient-Large-Model/VILA-inference-demos/resolve/main/OAI-sora-tokyo-walk.mp4

七、量化和部署

我们的VILA模型由AWQ量化为4位，以便在边缘进行有效推理。我们提供了一个按钮脚本来使用AWQ量化VILA。

1、在桌面GPU和边缘GPU上运行VILA

我们通过TinyChat在GPU平台上支持AWQ量化的4位VILA。我们提供了量化后使用TinyChat运行模型的教程。我们还提供了启动Gradio服务器（由TinyChat和AWQ提供支持）的指令，以服务于4位量化的VILA模型。

2、在笔记本电脑上运行VILA

我们的TinyChatEngine进一步支持各种CPU平台上的AWQ量化4位VILA模型，包括x86和ARM架构。我们还提供了详细的教程来帮助用户在不同的CPU上部署VILA。

3、运行VILA API服务器

提供了一个简单的应用编程接口服务器来服务VILA模型。该服务器建立在快速应用编程接口和Hugging Face Transformers 之上。该服务器可以使用以下命令运行：

使用CLI
python -W ignore server.py \
    --port 8000 \
    --model-path Efficient-Large-Model/NVILA-15B \
    --conv-mode auto
使用Docker
docker build -t vila-server:latest .
docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
    -v ./hub:/root/.cache/huggingface/hub \
    -it --rm -p 8000:8000 \
    -e VILA_MODEL_PATH=Efficient-Large-Model/NVILA-15B \
    -e VILA_CONV_MODE=auto \
    vila-server:latest

然后可以使用OpenAI SDK调用端点，如下所示：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000",
    api_key="fake-key",
)
response = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s in this image?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://blog.logomyway.com/wp-content/uploads/2022/01/NVIDIA-logo.jpg",
                        # Or you can pass in a base64 encoded image
                        # "url": "data:image/png;base64,<base64_encoded_image>",
                    },
                },
            ],
        }
    ],
    model="NVILA-15B",
)
print(response.choices[0].message.content)

注意：此API服务器仅用于评估目的，尚未针对生产用途进行优化。SGLang支持即将推出。

八、Checkpoints

我们发布以下型号：

  • NVILA-8B/NVILA-8B-Lite
  • NVILA-15B/NVILA-15B-Lite

2025-01-06（五）

大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1052
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
【LLM-多模态】高效多模态大型语言模型综述
weixin_45607947的博客
06-21 2187
一、结论写在前面模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的
英伟达推出视觉语言模型:VILA
specssss的博客
05-06 1034
1.情境学习与泛化能力：VILA通过预训练不仅提升了情境学习能力，即模型对新情境的适应性和学习能力，而且还优化了其泛化能力，使模型能在不同的视觉语言任务上展现出色的性能。这个框架旨在通过有效的嵌入对齐和动态神经网络架构，改进语言模型的视觉和文本的学习能力。3.融合层：融合层是VILA模型的核心，它负责整合来自视觉处理单元和语言处理单元的信息，生成统一的、多模态的表示，这对于执行跨模态任务至关重要4.优化策略：包括技术如弹性权重共享和梯度截断，这些策略帮助模型在训练过程中保持稳定，并优化跨模态信息的流动。
VILA模型简介：基本概念与特点
gitblog_02636的博客
12-05 624
VILA模型简介：基本概念与特点 VILA1.5-13b 项目地址: https://gitcode.com/mirrors/Efficient-Large-Model/VILA1.5-13b ...
开源项目 | 多模态大模型VILA：强大的视频理解和多图理解能力
强化学习曾小健
10-22 1165
VILA是一种视觉语言模型 (VLM)，使用大规模交错图像文本数据进行预训练，可实现视频理解和多图像理解功能。VILA 可通过AWQ4 位量化和TinyChat框架部署在边缘端。我们发现：（1）图文对还不够，图文交错是必要的；（2）在交错的图文预训练期间解冻LLM可以实现上下文学习；（3）重新混合纯文本指令数据对于提升VLM和纯文本性能至关重要；（4）令牌压缩扩展了#video 帧。VILA视频推理、情境学习、视觉思维链和更好的世界知识。
【LLaVA系列】CLIP/LLaVA/LLaVA1.5/VILA 模型全面梳理！
2401_84033492的博客
06-02 5640
本文简单梳理了LLaVA和CLIP的模型结构，并讲解了CLIP在LLaVA中的应用。持续更新中…
大模型开源项目 | 多模态大模型VILA：强大的视频理解和多图理解能力
Androiddddd的博客
10-21 1233
VILA，一种新的视觉语言模型预训练方法，用于解决视觉语言模型在零样本和上下文学习方面的性能不足问题。具体来说，冻结LLM的预训练：首先，研究了在预训练过程中冻结LLM的效果。冻结LLM可以实现不错的零样本性能，但缺乏上下文学习能力。为了提高上下文学习能力，需要在预训练过程中更新LLM。图2 研究了自回归视觉语言模型，其中图像被分词并输入到大型语言模型的（LLMs）中。我们发现更新LLMs对于上下文学习能力至关重要，而交错语料库有助于预训练。与仅文本数据联合的SFT有助于保持仅文本能力。
vila-mil用于全玻片图像分类的双尺度视觉语言模型
02-23
VILA-MIL是一种专门设计用于处理多实例学习（Multiple Instance Learning, MIL）任务的双尺度视觉语言模型。这种模型特别适用于医学影像分析领域，尤其是针对全玻片图像（Whole Slide Images, WSI）的分类任务。通过...
【GitHub项目推荐--英伟达开源！下一个GPT！视觉语言模型 （VLM）开源！】【转载】
j8267643的博客
02-01 414
视觉迎来GPT时刻？视觉语言模型 （VLM）源代码教主V5NVlabs/VILA：VILA 是一系列最先进的视觉语言模型 （VLM），适用于跨边缘、数据中心和云的各种多模态 AI 任务。VILA是由NVIDIA实验室与学术界合作研发的一系列视觉语言模型（Visual Language Model, VLM），旨在通过先进的预训练技术和模型架构，实现跨边缘、数据中心和云的各种多模态AI任务。
探索未来视觉语言模型的边界：VILA
gitblog_00081的博客
05-23 510
探索未来视觉语言模型的边界：VILA VILAVILA - a multi-image visual language model with training, inference and evaluation recipe, deployable from cloud to edge (Jetson Orin and laptops)项目地址:https://gitcode.com/gh_mi...
Viladate框架的两个必用包
05-06
Viladate框架的两个包 jakarta-oro.jar commons-validator.jar
VILA: Learning Image Aesthetics from User Commentswith Vision-Language Pretraining阅读笔记
step by step
07-04 660
解决的问题：现有的图像美学评估（IAA）方法主要依赖于人类标记的评分，这过于简化了人类感知的视觉美学信息。相反，用户评论提供了更全面的信息，是表达人类对图像美学的意见和偏好的更自然的方式。有鉴于此，我们建议从用户评论中学习图像美学，并探索视觉语言预训练方法来学习多模态美学表征。 具体做法： 具体而言，我们使用图像注释对预训练图像-文本编码器-解码器模型，使用对比和生成目标来学习没有人类标签的丰富和通用的美学语义。 为了有效地将预训练的模型用于下游IAA任务，我们进一步提出了一种轻量级的基于排名的适配器
多模态LLM多到看不过来？先看这26个SOTA模型吧
weixin_42907150的博客
02-03 866
总参数量取决于 MM-LLM 中使用的核心 LLM 的规模。考虑到多模态研究位于多种模态的交叉领域，一种合乎逻辑的方法是充分利用现成的预训练单模态基础模型，尤其是强大的大型语言模型（LLM）。一开始，研究社区主要关注的是多模态内容理解和文本生成，此类模型包括 (Open) Flamingo、BLIP-2、Kosmos-1、LLaVA/LLaVA-1.5、MiniGPT-4、MultiModal-GPT、VideoChat、Video-LLaMA、IDEFICS、Fuyu-8B、Qwen-Audio。
英伟达发布 VILA 视觉语言模型，实现多图像推理、增强型上下文学习，性能超越 LLaVA-1.5
nulifancuoAI的博客
05-16 1582
近年来，大型语言模型 (LLM) 的发展取得了显著的成果，并逐渐应用于多模态领域，例如视觉语言模型 (VLM)。VLM 旨在将 LLM 的强大能力扩展到视觉领域，使其能够理解和处理图像和文本信息，并完成诸如视觉问答、图像描述生成等任务。然而，现有的 VLM 通常缺乏对视觉语言预训练过程的深入研究，导致模型在多模态任务上的性能和泛化能力受限。
为边缘开发由生成式 AI 驱动的视觉 AI 智能体
专注于人工智能领域的小何尚
07-25 1505
可视化 AI 智能体由 VLM 提供支持，您可以在其中用自然语言提出广泛的问题，并获得反映录制或直播视频中真实意图和背景的见解。这些智能体可以通过易于使用的 REST API 进行交互，并与其他服务甚至移动应用程序集成。这种新一代可视化 AI 智能体有助于总结场景、创建各种警报并使用自然语言从视频中提取可操作的见解。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 597
【代码】基于对应点分类的对象识别 报错。
Qwen3 混合思维模版解读
qq128252的博客
05-07 953
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 448
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
《Python星球日记》 第51天：神经网络基础
最新发布
Code_流苏：在代码中寻诗意
05-10 570
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值