LoftQ 开源项目使用教程

LoftQ 开源项目使用教程

LoftQ 项目地址: https://gitcode.com/gh_mirrors/lo/LoftQ

1. 项目目录结构及介绍

LoftQ 项目的目录结构如下：

LoftQ/
├── asset/
├── glue/
│   ├── run_glue.py
│   ├── run_qa.py
│   └── ...
├── scripts/
├── .gitignore
├── LICENSE
├── README.md
├── quantize_save.py
├── requirements.txt
├── test_gsm8k.py
├── train_clm.py
├── train_gsm8k.py
└── train_summarization.py

目录结构介绍

• asset/: 存放项目相关的资源文件。
• glue/: 包含用于自然语言理解（NLU）任务的脚本，如 run_glue.py 和 run_qa.py。
• scripts/: 存放项目中使用的各种脚本文件。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的基本介绍和使用说明。
• quantize_save.py: 用于量化和保存模型的脚本。
• requirements.txt: 项目依赖的 Python 包列表。
• test_gsm8k.py: 用于测试 GSM8K 任务的脚本。
• train_clm.py: 用于训练因果语言模型（CLM）的脚本。
• train_gsm8k.py: 用于训练 GSM8K 任务的脚本。
• train_summarization.py: 用于训练摘要生成任务的脚本。

2. 项目启动文件介绍

quantize_save.py

该文件是 LoftQ 项目的主要启动文件之一，用于量化和保存预训练模型。通过该脚本，用户可以对模型进行量化，并生成适合 LoRA 微调的初始化参数。

主要功能

• 量化预训练模型。
• 生成 LoRA 微调的初始化参数。
• 保存量化后的模型和 LoRA 适配器。

使用示例

python quantize_save.py \
  --model_name_or_path meta-llama/Llama-2-7b-hf \
  --token HF_TOKEN \
  --bits 4 \
  --iter 5 \
  --rank 16 \
  --save_dir model_zoo/loftq/

train_gsm8k.py

该文件用于训练 GSM8K 任务的模型。用户可以通过该脚本对量化后的模型进行微调，并在 GSM8K 数据集上进行训练和评估。

主要功能

• 加载量化后的模型和 LoRA 适配器。
• 在 GSM8K 数据集上进行微调。
• 保存训练后的模型和评估结果。

使用示例

python train_gsm8k.py \
  --model_name_or_path LoftQ/Llama-2-7b-hf-4bit-64rank \
  --learning_rate 3e-4 \
  --seed 11 \
  --expt_name gsm8k_llama2_7b_4bit_64rank_loftq \
  --output_dir exp_results/ \
  --num_train_epochs 6 \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 8 \
  --evaluation_strategy "no" \
  --save_strategy "epoch" \
  --weight_decay 0.1 \
  --warmup_ratio 0.03 \
  --lr_scheduler_type "cosine" \
  --logging_steps 10 \
  --do_train \
  --report_to tensorboard

3. 项目配置文件介绍

requirements.txt

该文件列出了 LoftQ 项目运行所需的 Python 包及其版本。用户可以通过以下命令安装所有依赖项：

pip install -r requirements.txt

.gitignore

该文件用于配置 Git 忽略的文件和目录，避免将不必要的文件提交到版本控制系统中。

README.md

该文件是 LoftQ 项目的说明文档，包含了项目的基本介绍、安装步骤、使用方法以及示例代码等内容。用户在开始使用项目之前，应仔细阅读该文件。

LICENSE

该文件包含了 LoftQ 项目的开源许可证信息，用户在使用该项目时应遵守相应的许可证条款。

---

通过以上内容，您可以快速了解 LoftQ 项目的目录结构、启动文件和配置文件，并开始使用该项目进行模型量化和微调。

LoftQ 项目地址: https://gitcode.com/gh_mirrors/lo/LoftQ