第一节 LLaVA模型安装、预测、训练详细教程

引言

本博客介绍LLava1.5多模态大模型的安装教程、训练教程、预测教程，也会涉及到hugging face使用与wandb使用。

源码链接:点击这里

demo链接:点击这里

论文链接:点击这里

一、系统环境

ubuntu 20.04
gpu: 2*3090
cuda:11.6

二、LLava环境安装

1、代码下载

git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA

2、虚拟环境构建

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip  # enable PEP 660 support

3、模型预测安装

pip install -e .

4、模型训练环境安装

pip install -e ".[train]"
pip install flash-attn --no-build-isolation  # 可能安装失败

5、flash-attn离线环境安装

根据对应环境格式下载相应flash-attn，
flash-attn下载链接点击这里
实际为whl的离线文件，在使用pip install *.whl 即可

三、LLava推理运行

1、启动网页预测(类似服务端与客户端)

Launch a controller

python -m llava.serve.controller --host 0.0.0.0 --port 10000

Launch a gradio web server.

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

注:host 0.0.0.0表示自动填充本机ip，网页将其替换本机ip即可，web server启动后会有网页ip，若在其它电脑将其0.0.0.0替换运行服务器的ip即可。

2、推理权重下载

我们使用llava-v1.5-7b模型做推理。

llava-v1.5-7b权重下载

权重下载地址:点击这里

权重下载，需要使用hugging face才能下载，自己注册账号即可，文件格式如下：

将图示文件全部下载，内有一个config.json文件，该文件很重要，部分内容如下：

该文件可看出视觉编码也缺少相应权重，需下载如下内容，并将其路径修改本地权重保存文件。

clip-vit-large-patch14-336权重下载

权重下载地址:点击这里
该文件可通过点击链接连接，也可在hugging face自行搜索。

同理，也是全部下载，放到一个文件夹中。

3、启动预测模型

若已完成权重下载，便可执行以下模型启动命令，而–model-path后面需跟模型权重路径文件，若联网能范文hugging face便可无需修改直接使用官方给定命令。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-13b

–load-4bit: 该指令也可加上，使用4bit模型推理

四、LLava的lora训练

1、权重下载

根据下图的finetune_lora.sh文件指定权重在hugging face下载即可，如下图。

下载好对应权重，即可修改路径路径，如下：

2、数据准备

使用官网也行，若不想下载太多，使用下面代码准备部分也行，如下：

import json

if __name__ == '__main__':
    json_root=r'*\llava_v1_5_mix665k.json'
    with open(json_root, 'r') as f:
        json_info = json.load(f)
    save_info=json_info[:1000]+json_info[480000:481000]+json_info[620000:621000]
    with open('info.json', 'w') as fp:
        json.dump(save_info, fp, indent=4)

数据图如下：

3、训练命令

我是将其移动到LLAVA文件内，直接执行此命令：

finetune_lora.sh

4、报错处理

模型有可能报数据错误，此时不用担心，该问题是数据的问题，如下：

直接修改上面代码如下：

def get_modality_length_grouped_indices(lengths, batch_size, world_size, generator=None):
    # We need to use torch for the random part as a distributed sampler will set the random seed for torch.
    assert all(l != 0 for l in lengths), "Should not have zero length."
    mm_indices, mm_lengths = zip(*[(i, l) for i, l in enumerate(lengths) if l > 0])
    # lang_indices, lang_lengths = zip(*[(i, -l) for i, l in enumerate(lengths) if l < 0])

    lang_indices, lang_lengths=mm_indices, mm_lengths

    assert len(mm_indices) > 0, "Should have at least one multimodal sample."
    assert len(lang_indices) > 0, "Should have at least one language sample."

也有可能有其它数据问题，是可能无eval数据，添加以下红色框即可，如下:

5、训练效果

若完成以上方式，使用训练命令，可实现如下训练效果：

6、训练使用wandb

llava训练自带wandb方式显示化查看，训练代码会自动提醒你，你只需注册，然后将其key复制，即可实现，其效果如下：

五、最新llava环境安装(补充：2024-6-20)

1、ImportError: cannot import name ‘LlavaLlamaForCausalLM’ from 'llava.model’报错

同样依照我上面给出的安装方法，依然有效。但有些会遇到一些有关flash_atten安装问题，即使你安装成功，但也可能有以下错误:

ImportError: cannot import name 'LlavaLlamaForCausalLM' from 'llava.model'

首先给出某个网站(https://github.com/haotian-liu/LLaVA/issues/1101)回答：

没错就是flash-atten影响，我是cuda12.1 ubuntu22.04环境，离线使用多个flash-atten的whl也不行，我之前使用cuda11.6 ubuntu20.04的环境可行。于是，我使用网上一些回答尝试，也没法改变，我多次构建虚拟环境与多次使用pip install flash-attn --no-build-isolation --no-cache-dir该命令完成了安装。这个问题应该是版本问题，比较神奇。

2、新模型训练

依然使用我之前launch.josn是没有问题的，我已尝试。

3、pyproject.toml环境说明

也需你不想使用某些环境，特别是torch，而使用pip install -e . 会重新下载更新安装，于是你需要再该文件屏蔽或更改（如下图）。至于该文件说明，我给一个链接参考（https://zhuanlan.zhihu.com/p/666166082）。

总结

以上便llava所有运行过程，愿踩过的坑对你有帮助。最后，我额外说下，我使用4090显卡搭建，跑测试问题不大，大概16g左右吧，跑训练一张24G卡有些够呛。