Datawhale AI 夏令营：大模型应用开发--Task04笔记

kichi123

已于 2024-08-21 21:25:46 修改

阅读量890

点赞数 22

文章标签：笔记 ai 语言模型 prompt 人工智能深度学习

于 2024-08-21 21:24:47 首次发布

本文链接：https://blog.csdn.net/m0_73164476/article/details/141401947

版权

#本次学习链接为Datawhale

一、大模型微调相关知识

定义:
- 模型微调，又称为指令微调（Instruction Tuning）或有监督微调（Supervised Fine-tuning, SFT），利用成对的任务输入与预期输出数据训练模型，使其能以问答形式解答问题，激活模型的任务解决潜能。
作用:
- 微调过程不是为模型传授新知识，而是激活模型的潜在能力，帮助模型更好地遵循指令，解决多种下游任务。
数据需求:
- 相比预训练，指令微调所需的数据量较少，从几十万到上百万条不等，甚至少量**高质量数据（数千至数万条）**也能实现令人满意的效果。
- 这种数据需求的减少降低了计算资源的依赖，同时提升了微调的灵活性与效率。

背景:
- 大模型的参数量巨大，进行全量参数微调需要消耗大量的算力和计算资源。
解决方案:
- 参数高效微调（Parameter-efficient Fine-tuning），也称为轻量化微调（Lightweight Fine-tuning），通过训练极少的模型参数来降低计算需求，同时保证微调后的模型表现可以与全量微调相媲美。
常用技术:
- LoRA（Low-Rank Adaptation）
- Adapter
- Prompt Tuning

定义:
- LoRA（Low-Rank Adaptation）是一种轻量化的微调技术，通过引入低秩矩阵来适应预训练模型的参数，避免对整个模型进行全量参数更新。
核心思想:
- 将模型中的某些权重矩阵分解为两个较小的低秩矩阵，通过这两个低秩矩阵进行微调，减少计算和存储的开销。（下图来自）（来自https://arxiv.org/pdf/2106.09685.pdf）
优点:
- 高效性：只需微调少量参数，显著降低了训练和推理的计算资源需求。
- 性能保持：能够在许多任务上实现与全量微调相近的性能。
- 灵活性：可以与其他微调方法结合使用，增强微调的灵活性和适应性。
适用场景:
- 适用于低资源环境中的大规模模型微调，如边缘计算设备或云端资源有限的应用。
- 适合快速验证模型表现、进行快速迭代和实验。

下载文件:

在终端中运行以下代码以下载所需的文件，将文件拷贝到当前工作目录：

git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git
cp AICamp_yuan_baseline/Task\ 4：源大模型微调实战/* .

运行Notebook:
1. 双击打开文件：Task 4：源大模型微调实战.ipynb。
2. 运行文件中的所有单元格，以执行模型微调和相关操作。
启动应用:
1. 在终端中运行以下命令以启动AI简历助手的Web应用：
```
# 安装 streamlit
pip install streamlit==1.24.0
```
2. 打开浏览器，点击命令行中提供的链接，进入Demo页面。
使用Demo:
1. 输入文本，例如：张三，汉族，金融学硕士。
2. 查看Demo的输出结果，确认信息抽取和结构化展示的效果。