大模型微调

最新推荐文章于 2024-04-27 17:30:34 发布
最新推荐文章于 2024-04-27 17:30:34 发布
阅读量515 收藏 2
点赞数
分类专栏： AI 文章标签： python ai 人工智能 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tecinno4/article/details/132890665
版权

1. 部署

  1. 下载开源项目LLaMA-Efficient-Tuning，部署路径/home/ubuntu/workspace/projects/tuning/qwen/tools/Efficient
  2. 安装accelerate或者deepspeed
  3. 模型部署，我们模型已经部署好在服务器。

2. 数据生成

  1. 数据格式，我们用的是指令监督微调sft。
[ 
  {
      "instruction": "请根据以下快捷任务生成快捷指令：",
      "question": "如果我系上了主驾驶安全带并且车辆挡位是D挡，就自动给我开车窗和加热座椅。",
      "answer": "{\"condition\": [\"主驾驶安全带\", \"车辆挡位\"], \"action\": [\"主驾车窗\", \"主驾座椅加热\"], \"task\": \"如果我系上了主驾驶安全带并且车辆挡位是D挡，就自动给我开车窗和加热座椅。\"}",
      "history": [],
      "id": 0
  },
  {
      "instruction": "请根据以下快捷任务生成快捷指令：",
      "question": "当我系好安全带并且车挡在D挡时，帮我把车窗打开并且把座椅加热打开。",
      "answer": "{\"condition\": [\"主驾驶安全带\", \"车辆挡位\"], \"action\": [\"主驾车窗\", \"主驾座椅加热\"], \"task\": \"当我系好安全带并且车挡在D挡时，帮我把车窗打开并且把座椅加热打开。\"}",
      "history": [],
      "id": 1
  }
]
  1. 生成json格式数据，放到data目录下:/home/ubuntu/workspace/projects/tuning/qwen/tools/Efficient/data
  2. 在/home/ubuntu/workspace/projects/tuning/qwen/tools/Efficient/data/dataset.info里配置好数据路径：
"train_data": {
  "file_name": "train_data.json",
  "columns": {
    "prompt": "instruction",
    "query": "question",
    "response": "answer",
    "history": "history"
  },
  "stage": "sft"
}

3. lora微调

  1. python src/train_web.py启动平台，在浏览器上登录http://10.133.121.2:7860/。

  2. 在平台上进行配置
    在这里插入图片描述

  3. 调节微调参数，batchsize、epoch、Gradient accumulation、LoRA Dropout等，可以先用默认的试试。

  4. 开始微调start后，等待结果

  5. 选择chat，加载之前微调的checkpoint，load model，load结束后就可以开始测试对话了。

  6. 可以启动api_demo.py进行api部署。

  7. 评估和导出模型也可以在平台上进行操作。

4. DPO训练

  1. DPO训练步骤
    1. 获取测试结果中NG的case。
    2. 将case结果进行调整生成OK的结果。
    3. 生成DPO数据，告诉模型两个输出哪个更好(好的例子是根据NG的例子调整的)，格式如下：
[
 {
     "instruction": "",
     "input": "",
     "output": [
       相对好的结果，
       相对差的结果
     ]
  }
]

[
 {
    "instruction": "创建一个将文本转换为乐谱的脚本。",
    "input": "",
    "output": [
      "不幸的是，将文本转换成乐谱并不是一个简单的过程，因为没有固定的规则可以将单词、字母或句子映射到特定的音符、节奏或旋律。将文本转化为有意义的作品需要音乐知识、创造力和诠释。\n\n但是，您可以使用以下一种方法从文本生成音乐：\n\n1. 为文本中的每个字母分配一个音符。可以通过多种方式分配音符，例如根据 ASCII 数字表示或使用预先确定的映射将每个字符或字母表与音高等级（C、D、E、F、G、A 或 B）相匹配系统。\n\n```蟒蛇\n文字=“你好世界”\n注意映射 = {'a': 'C4', 'b': 'D4', 'c': 'E4', 'd': 'F4', 'e': 'G4', 'f': 'A4 ', 'g': 'B4', 'h': 'C5', 'i': 'D5', 'j': 'E5',\n'k'：'F5'，'l'：'G5'，'m'：'A5'，'n'：'B5'，'o'：'C6'，'p'：'D6'，'q '：'E6'，'r'：'F6'，'s'：'G6'，'t'：'A6'，'u'：'B6'，\n'v': 'C7', 'w': 'D7', 'x': 'E7', 'y': 'F7', 'z': 'G7'}\n\n音符顺序 = []\n\n对于 text.lower() 中的字母：\n    如果音符映射中的字母：\n        note sequence.append(注意映射[字母])\n    elif 字母 == \" \":\n        注意 sequence.append(\"R\")\n\n打印（音符顺序）\n```\n\n2. 为这个音符序列分配一个节奏。这可以通过将音符分组为短语或使用各种 NLP 技术从文本的句法结构中确定节拍、速度和短语长度来完成。\n\n```蟒蛇\n节奏映射= {“1”：“4”，“2”：“4”，“3”：“4”，“4”：“4”，“5”：“4”，“6”：“4 \",\"7\": \"4\", \"8\": \"4\", \"9\": \"8\", \"0\": \"8\",\n“”：“2r”}\n节奏序列",
      "我能做到。"
    ]
  }
 ]
  1. DPO训练指令
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py\
  --stage dpo \
  --model_name_or_path /home/ubuntu/workspace/models/Baichuan-13B-Chat \
  --do_train True \
  --overwrite_cache True \
  --finetuning_type lora \
  --template baichuan \
  --dataset_dir data \
  --dataset shortcut_dpo \
  --max_source_length 512 \
  --max_target_length 512 \
  --learning_rate 5e-05 \
  --num_train_epochs 5.0 \
  --max_samples 100000 \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --lr_scheduler_type cosine \
  --max_grad_norm 1.0 \
  --logging_steps 5 \
  --save_steps 100 \
  --warmup_steps 0 \
  --padding_side right \
  --lora_rank 8 \
  --lora_dropout 0.1 \
  --lora_target W_pack \
  --resume_lora_training False \
  --output_dir saves/Baichuan-13B-Chat/lora/baichuan_dpo \
  --fp16 True \
  --dpo_beta 0.1 \
  --plot_loss True

5. 全参微调

  1. 安装deepspeed，配置deepspeed config
deepspeed2.json
{
 "fp16": {
     "enabled": "auto",
     "loss_scale": 0,
     "loss_scale_window": 1000,
     "initial_scale_power": 16,
     "hysteresis": 2,
     "min_loss_scale": 1
 },
 "optimizer": {
     "type": "AdamW",
     "params": {
         "lr": "auto",
         "betas": "auto",
         "eps": "auto",
         "weight_decay": "auto"
     }
 },
 "scheduler": {
     "type": "WarmupLR",
     "params": {
         "warmup_min_lr": "auto",
         "warmup_max_lr": "auto",
         "warmup_num_steps": "auto"
     }
 },
 "zero_optimization": {
     "stage": 2,
     "offload_optimizer": {
         "device": "cpu",
         "pin_memory": true
     },
     "allgather_partitions": true,
     "allgather_bucket_size": 2e8,
     "overlap_comm": true,
     "reduce_scatter": true,
     "reduce_bucket_size": 2e8,
     "contiguous_gradients": true
 },
 "gradient_accumulation_steps": "auto",
 "gradient_clipping": "auto",
 "train_batch_size": "auto",
 "train_micro_batch_size_per_gpu": "auto",
 "steps_per_print": 1e5
}
  1. 微调参数
python src/train_bash.py \
   --stage sft \
   --model_name_or_path /home/ubuntu/workspace/models/Baichuan-13B-Chat \
   --do_train True \
   --overwrite_cache True \
   --finetuning_type full \
   --template baichuan \
   --dataset_dir data \
   --dataset shortcut_train20data_with_rule \
   --max_source_length 512 \
   --max_target_length 512 \
   --learning_rate 5e-05 \
   --num_train_epochs 6.0 \
   --max_samples 100000 \
   --per_device_train_batch_size 1 \
   --gradient_accumulation_steps 6 \
   --lr_scheduler_type cosine \
   --max_grad_norm 1.0 \
   --logging_steps 5 \
   --save_steps 100 \
   --warmup_steps 0 \
   --padding_side right \
   --lora_rank 8 \
   --lora_dropout 0.1 \
   --lora_target W_pack \
   --resume_lora_training False \
   --output_dir saves/Baichuan-13B-Chat/full/baichuan_full20 \
   --fp16 True \
   --overwrite_output_dir True \
   --plot_loss True
  1. deepspeed+微调参数进行多卡全参微调
deepspeed --num_gpus 4 src/train_bash.py --deepspeed /home/ubuntu/workspace/projects/tuning/qwen/data/deepspeed.json \
   --stage sft \
   --model_name_or_path /home/ubuntu/workspace/models/Qwen-7B-Chat \
   --do_train True \
   --overwrite_cache True \
   --finetuning_type full \
   --template chatml \
   --dataset_dir data \
   --dataset shortcut_train20data_with_rule \
   --max_source_length 512 \
   --max_target_length 512 \
   --learning_rate 5e-05 \
   --num_train_epochs 4.0 \
   --max_samples 100000 \
   --per_device_train_batch_size 1 \
   --gradient_accumulation_steps 6 \
   --lr_scheduler_type cosine \
   --max_grad_norm 1.0 \
   --logging_steps 5 \
   --save_steps 100 \
   --warmup_steps 0 \
   --padding_side right \
   --lora_rank 8 \
   --lora_dropout 0.1 \
   --lora_target c_attn \
   --resume_lora_training False \
   --output_dir saves/Qwen-7B-Chat/full/qwen_full_train20 \
   --fp16 True \
   --overwrite_output_dir True \
   --plot_loss True
  1. 训练过程

6. 多卡训练

  1. accelerate
    1. https://huggingface.co/docs/accelerate/basic_tutorials/launch
    2. 配置好accelerate config后直接accelerate launch xxx.py
  2. torchrun
    1. MIXED_PRECISION=“fp16” torchrun --nproc_per_node=4 xxx.py
    2. nproc_per_node是进程节点个数，我是4个GPU就设置4
  3. deepspeed
    deepspeed --num_gpus 4 xxx.py --deepspeed ./deepspeed2.json \
Tecinno4
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大模型指令微调概述，大模型微调简单介绍ppt
10-30
目前学术界一般将NLP任务的发展分为四个阶段即NLP四范式： 第一范式：基于传统机器学习模型的范式，如 tf-idf 特征+朴素贝叶斯等机器算法； 第二范式：基于深度学习模型的范式，如 word2vec 特征 + LSTM 等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少； 第三范式：基于预训练模型 + fine-tuning的范式，如 BERT + finetuning 的NLP任务，相比于第二范式，模型准确度显著提高，但是模型也随之变得更大，但小数据集就可训练出好模型； 第四范式：基于预训练模型 + Prompt + 预测的范式，如 BERT + Prompt 的范式相比于第三范式，模型训练所需的训练数据显著减少。
DPO(Direct Preference Optimization):LLM的直接偏好优化
Zob_z的博客
11-01 2839
在通过 RL 优化人类衍生偏好时，一直以来的传统做法是使用一个辅助奖励模型来微调目标模型，以通过 RL 机制最大化目标模型所能获得的奖励。直观上，我们使用奖励模型向待优化模型提供反馈，以促使它多生成高奖励输出，少生成低奖励输出。同时，我们使用冻结的参考模型来确保输出偏差不会太大，且继续保持输出的多样性。这通常需要在目标函数设计时，除了奖励最大化目标外再添加一个相对于参考模型的 KL 惩罚项，这样做有助于防止模型学习作弊或钻营奖励模型。
全面解析LoRA、QLoRA、RLHF，PPO，DPO，Flash Attention、增量学习等大模型算法
Paper weekly
03-14 332
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、蒸馏技术到模型增量学习、数据处理、新的开源模型的理解等，几乎每天都有新的发展。作为算法工程师，面对如此飞快的技术迭代，是否感觉到自己的学习步伐有点跟不上技术的发展？而且对这些新兴技术的理解仅仅停留在应用层面上，实际上对背后的原理没有具体剖...
大模型-大模型SFT微调训练基础认知视频
03-16
大模型系列基础认知之一：大模型SFT微调训练基础认知
RLHF 和 DPO：简化和增强语言模型的微调
yanqianglifei的专栏
01-16 1371
人类反馈强化学习 (RLHF) 是人工智能领域的一种前沿方法，它利用人类偏好和指导来训练和改进机器学习模型。RLHF的核心是一种机器学习范式，它结合了强化学习和监督学习的元素，使人工智能系统能够以更加人性化的方式学习和做出决策。RLHF的重要性在于它有可能解决人工智能中的一些基本挑战，例如需要模型来理解和尊重人类的价值观和偏好。传统的强化学习模型通过与环境交互产生的奖励来学习，而 RLHF 则不同，它引入了人类反馈作为宝贵的指导来源。
大模型 RLHF 实战！【OpenAI独家绝技RLHF！RLHF的替代算法DPO！Claude 暗黑科技 RAIHF！】
Debroon
12-19 945
作者在训练 DPO 模型时省略了奖励模型训练的步骤，而是通过设计一种包含正负样本对比的损失函数，在训练过程中得到一个满足人类偏好的模型。意思是，可以通过一个加权的参考策略来构造一个新的策略，该策略会偏向于高奖励的行为，同时保持与参考策略的相似性。改进：RAIHF 是通过 AI 排序，而非人工排序数据集，训练出来的偏好模型PM的指引下迭代模型策略。正样本和负样本的对比，使得模型能够更好地学习到人类偏好的特征，从而提升了生成的质量。DPO：直接偏好优化算法，专门替代传统的基于奖励的 RL 方法。
【LLM】大模型之RLHF和替代方法（DPO、RAILF、ReST等）
发现问题，并解决问题，批判性思维
12-11 3481
SFT使用交叉熵损失函数，目标是调整参数使模型输出与标准答案一致，不能从整体把控output质量，RLHF（分为奖励模型训练、近端策略优化两个步骤）则是将output作为一个整体考虑，优化目标是使模型生成高质量回复。 启发1：像可以用6b、66b依次得到差一点、好一点的target构造排序数据集，进行DPO直接偏好学习或者其他RLHF替代方法（RAILF、ReST等），比直接RLHF更方便训练 启发2：为了减少幻觉（如拒绝回答），可以构造排序数据集（如good response为拒绝话术，bad respo
【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 6244
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
AI人工智能大模型培训之使用Firefly在单卡V100上对Qwen1.5进行SFT和DPO，大幅超越Qwen1.5和Gemma
人工智能前沿分享
03-05 213
经过两阶段的训练，我们的模型在Open LLM Leaderboard上的表现显著优于官方的Qwen1.5-7B-Chat、Gemma-7B-it、Vicuna-13B等模型。通义千问Qwen1.5是阿里巴巴在春节前开源的大模型，支持32K的上下文长度，该模型本质上是Qwen2的beta版本，按照官方的说法，后续将会有Qwen2的正式版本。上面描述的PPO流程复杂且冗长，而DPO则绕过了奖励模型的构建，可直接使用人类偏好数据对模型进行训练，且在训练时仅需加载策略网络和参考网络，极大地节省了显存占用。
大模型微调 踩坑个人记录：
qq_50502754的博客
01-19 509
解决方法：bitsandbytes 只支持linux，windows下版本过低不支持。2.问题：lora微调chatglm loss为0。peft版本改为0.6.0后问题解决。改到linux服务器下运行，成功。
百川大模型微调，lora模型，训练微调自己的大预言模型
08-03
百川大模型微调，lora模型，训练模型，大语言模型，Baichuan-7B模型微调，百川大模型量化 int量化 INT4量化微调模型，Baichuan-7B模型量化 百川模型量化 Baichuan-7B 是由百川智能开发的一个开源可商用的大规模预...
大模型微调经典论文Qlora
04-10
QLORA（Quantization-aware Low-Rank Adaptation）是一种高效的微调方法，专为大型语言模型（LLMs）设计，以减少在微调过程中所需的内存使用。这项技术允许在单个48GB GPU上微调具有650亿参数的模型，同时保持与16位...
基于LLaMA的视频理解以及视频描述生成大模型微调.zip
07-17
本项目是自己研究本领域的demo视频，可以直接部署使用，内含训练模型和部署教程
[python3] 读取一个正在更新的日志文件
言之。
04-24 971
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
Day25-Java基础之常用类1
最新发布
m0_46053885的博客
04-27 858
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 1073
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（二十二）
龙哥盟
04-24 1157
原文：pandas.pydata.org/docs/ 时间增量 原文：pandas.pydata.org/docs/user_guide/timedeltas.html 时间增量是时间之间的差异，以不同的单位表示，例如天、小时、分钟、秒。它们可以是正数也可以是负数。 Timedelta是datetime.timedelta的子类，并且行为类似，但也允许与np.timedelta64类型兼容，以及一系列自定义表示、解析和属性。 解析 您可以通过各种参数构造一个Timedelta标量，包括ISO 860
Pandas 2.2 中文官方教程和指南（十五）
龙哥盟
04-24 765
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
大模型微调 lora
10-09
对于大模型微调，LORA（Low Rank Approximation）是一个有效的方法。它通过对模型参数进行低秩近似，降低了模型的计算量和存储空间，并且在一定程度上避免了过拟合现象。LORA的核心思想是通过矩阵分解将模型参数矩阵拆分成两个较小的矩阵相乘的形式，从而减少参数数量。 具体而言，我们可以对模型的全连接层进行LORA操作，将每个全连接层的权重矩阵拆分成两个较小的矩阵。在微调过程中，我们可以固定其中一个矩阵，只对另一个矩阵进行更新。这样可以大幅减少模型参数数量，提高微调效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值