VITRON：开源像素级视觉大模型，同时满足图像与视频理解、生成、分割和编辑等视觉任务-CSDN博客

本文链接：https://blog.csdn.net/qq_19841021/article/details/144935797

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

功能全面：VITRON 支持图像与视频的理解、生成、分割和编辑，涵盖多种视觉任务。
技术先进：基于编码器-LLM-解码器架构，结合离散文本指令和连续信号嵌入，实现精确功能调用。
应用广泛：适用于图像编辑、视频内容创作、在线教育、电子商务和新闻媒体等多个领域。

正文（附运行示例）

VITRON 是什么

公众号: 蚝油菜花 - Vitron

VITRON 是由 Skywork AI、新加坡国立大学和南洋理工大学联合推出的像素级视觉大型语言模型（LLM）。它能够全面理解和处理静态图像与动态视频，支持从视觉理解到视觉生成的多种任务。VITRON 结合了前端的视觉编码器和后端的视觉专家系统，通过混合方法传递信息，结合离散文本指令和连续信号嵌入，实现精确的功能调用。

VITRON 的设计目标是解决现有视觉大模型在实例级理解、图像与视频统一支持以及视觉任务覆盖范围方面的不足。通过跨任务协同模块，VITRON 增强了不同视觉任务间的协同效应，使其在图像和视频处理方面表现出色。

VITRON 的主要功能

视觉理解：包括图像和视频的问答（QA）、指代表达（Referring Expression）和视觉推理。
视觉生成：从文本生成图像（Text-to-Image）和从文本生成视频（Text-to-Video）。
视觉分割：包括图像和视频的分割任务，如实例分割、全景分割等。
视觉编辑：对图像和视频进行编辑，如添加、替换、移除和颜色改变等操作。
交互式用户输入：处理用户的点击、绘制框或多边形、涂鸦等交互式输入。

VITRON 的技术原理

编码器-LLM-解码器架构：基于常见的编码器-大型语言模型（LLM）-解码器架构，其中编码器负责处理图像和视频输入，LLM 负责语义理解和决策，解码器负责执行具体的视觉任务。
前端视觉-语言编码：使用 CLIP ViT-L/14@336px 作为图像和视频的编码器，处理每一帧视频进行平均池化获得整体的时间表示特征。使用区域像素感知视觉提取器作为草图编码器，处理用户的交互式输入。
核心 LLM：使用 Vicuna（7B, 版本1.5）作为 LLM，处理来自语言和视觉模态的输入，执行语义理解和推理，生成决策。
后端视觉专家：集成一系列单一视觉专家，如 GLIGEN 用于图像生成和编辑，SEEM 用在图像和视频分割，ZeroScope 和 I2VGen-XL 用在文本到视频和图像到视频的任务，StableVideo 用于视频编辑。
混合方法指令传递：推出一种新颖的混合方法，基于离散文本指令和连续信号特征嵌入确保 LLM 的决策能精确地传递给后端模块。

如何运行 VITRON

1. 环境配置

首先，确保你的环境满足以下要求：

Python >= 3.8
Pytorch == 2.1.0
CUDA Version >= 11.8

然后，安装所需的依赖包：

git clone https://github.com/SkyworkAI/Vitron
cd Vitron
conda create -n vitron python=3.10 -y
conda activate vitron
pip install --upgrade pip 
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install decord opencv-python git+https://github.com/facebookresearch/pytorchvideo.git@28fe037d212663c6a24f373b94cc5d478c8c1a1d