LLaVA 项目安装和配置指南

LLaVA 项目安装和配置指南

LLaVA [NeurIPS'23 Oral] Visual Instruction Tuning: LLaVA (Large Language-and-Vision Assistant) built towards GPT-4V level capabilities. 项目地址: https://gitcode.com/gh_mirrors/ll/LLaVA

1. 项目基础介绍和主要编程语言

项目介绍

LLaVA（Large Language and Vision Assistant）是一个旨在构建具有GPT-4级别能力的视觉指令调优模型。该项目通过结合视觉编码器和语言模型，实现了强大的多模态理解和生成能力。LLaVA 项目在 NeurIPS 2023 上获得了 Oral 展示，展示了其在多模态任务中的卓越性能。

主要编程语言

LLaVA 项目主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

关键技术

• 视觉指令调优：通过视觉指令调优技术，LLaVA 能够处理和理解图像数据，并生成相应的文本输出。
• 多模态模型：结合视觉和语言模型，实现多模态任务的处理。

框架

• PyTorch：作为深度学习框架，用于模型的训练和推理。
• Hugging Face Transformers：用于加载和使用预训练的语言模型。
• OpenAI GPT-4：作为参考模型，LLaVA 旨在达到类似 GPT-4 的多模态能力。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 操作系统：LLaVA 项目目前主要支持 Linux 系统。
2. Python 环境：建议使用 Python 3.10 版本。
3. GPU 支持：为了高效训练和推理，建议使用带有 CUDA 支持的 GPU。

详细安装步骤

1. 克隆项目仓库

首先，从 GitHub 上克隆 LLaVA 项目仓库到本地：

git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA

2. 创建虚拟环境

建议使用 Conda 创建一个独立的 Python 环境：

conda create -n llava python=3.10 -y
conda activate llava

3. 安装项目依赖

安装项目所需的基本依赖包：

pip install --upgrade pip  # 启用 PEP 660 支持
pip install -e .

如果需要进行训练，还需要安装额外的依赖包：

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

4. 更新代码库

确保使用最新的代码库：

git pull
pip install -e .

如果遇到导入错误，可以尝试以下命令：

pip install flash-attn --no-build-isolation --no-cache-dir

5. 快速开始

使用 HuggingFace 的示例代码进行快速测试：

from llava.model.builder import load_pretrained_model
from llava.mm_utils import get_model_name_from_path
from llava.eval.run_llava import eval_model

model_name = get_model_name_from_path("path_to_model")
model = load_pretrained_model(model_name)
eval_model(model)

总结

通过以上步骤，您已经成功安装并配置了 LLaVA 项目。接下来，您可以根据项目文档和示例代码进一步探索和使用 LLaVA 的多模态能力。

LLaVA [NeurIPS'23 Oral] Visual Instruction Tuning: LLaVA (Large Language-and-Vision Assistant) built towards GPT-4V level capabilities. 项目地址: https://gitcode.com/gh_mirrors/ll/LLaVA