MG-LLaVA项目使用教程

MG-LLaVA项目使用教程

MG-LLaVA Official repository for paper MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning(https://arxiv.org/abs/2406.17770). 项目地址: https://gitcode.com/gh_mirrors/mg/MG-LLaVA

1. 项目目录结构及介绍

MG-LLaVA项目的目录结构如下：

MG-LLaVA/
├── .github/              # GitHub相关配置文件
├── docs/                 # 项目文档
├── examples/             # 示例数据
├── images/               # 项目图片
├── mg_llava/             # MG-LLaVA核心代码
├── requirements/         # 项目依赖
├── script/               # 脚本文件，包括训练和推理等
├── xtuner/               # XTuner相关代码
├── .gitignore            # Git忽略文件
├── .owners.yml           # 项目拥有者信息
├── .pre-commit-config-zh-cn.yaml  # pre-commit配置文件（中文）
├── .pre-commit-config.yaml        # pre-commit配置文件
├── LICENSE               # 开源协议文件
├── README.md             # 项目说明文件
├── dataset_prepare.md    # 数据准备说明
├── evaluation.md         # 模型评估说明
├── requirements.txt      # Python依赖文件
├── setup.cfg             # 设置配置文件
├── setup.py              # 设置文件

• .github/：包含GitHub Actions工作流等配置。
• docs/：存放项目文档。
• examples/：包含示例图片等数据。
• images/：存放项目相关的图片文件。
• mg_llava/：包含MG-LLaVA模型的主要代码。
• requirements/：存放Python依赖包。
• script/：脚本文件夹，用于运行模型的训练、推理等。
• xtuner/：XTuner框架相关代码。
• .gitignore：定义Git应该忽略的文件。
• .owners.yml：定义项目维护者的信息。
• .pre-commit-config-zh-cn.yaml和.pre-commit-config.yaml：配置pre-commit工具，用于代码格式化等。
• LICENSE：Apache-2.0协议的许可证文件。
• README.md：项目的基本介绍和说明。
• dataset_prepare.md：详细说明数据准备的过程。
• evaluation.md：详细说明模型评估的方法和指标。
• requirements.txt：项目依赖的Python包列表。
• setup.cfg和setup.py：用于打包和分发Python包的配置文件。

2. 项目的启动文件介绍

项目的启动主要是通过script/目录下的脚本文件进行的。以下是一些主要的启动脚本：

• train_vicuna7B.sh：整个训练过程的启动脚本，包括预训练、微调和评估。
• train_pretrain.sh：启动预训练过程的脚本。
• train_sft.sh：启动微调过程的脚本。

根据不同的训练阶段和需求，可以选择不同的脚本来启动项目。

3. 项目的配置文件介绍

项目的配置文件主要集中在mg_llava/config/目录下。以下是一些重要的配置文件：

• fuse_vicuna7b_clip_L_14_336_pretrain_padding.py：预训练阶段的配置文件。
• fuse_vicuna7b_clip_L_14_336_sft_padding.py：微调阶段的配置文件。

这些配置文件包含了训练过程中所需的各种参数设置，例如模型路径、数据路径、训练参数等。用户需要根据自己的实际情况对这些配置文件进行相应的修改。

MG-LLaVA Official repository for paper MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning(https://arxiv.org/abs/2406.17770). 项目地址: https://gitcode.com/gh_mirrors/mg/MG-LLaVA