项目实训10-RM和PPO训练过程

已于 2024-06-23 23:00:33 修改
阅读量1k 收藏 30
点赞数 18
文章标签： 深度学习 人工智能 机器学习
于 2024-06-23 22:54:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44778250/article/details/139908143
版权

RM和PPO训练过程

RM 训练

编写 rm 训练的脚本 ds_rm.sh，和上述的模板以及sft相应的模板内容，编写类似的sft过程的调用脚本，利用奖励机制对文本的生成内容进行一定的优化。

accelerate launch src/train_rm.py \
    --model_name_or_path /home/mnt/workspace/model/chatglm2-6b-32k \
    --dataset judgement  \
    --do_train \
    --finetuning_type lora \
    --output_dir /home/mnt/workspace/trained \
    --overwrite_cache \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 1e-3 \
    --num_train_epochs 15.0 \
    --plot_loss \
    --fp16

执行该sh脚本，并对原模型进行训练调参，更具之前所写的代码：

使用的PairwisePeftTrainer和整体结构来看，我们可以推测奖励策略的一些关键特点。这种类型的训练通常用于比较任务，其中模型需要评估一对样本，并决定哪个更好。这种训练通常应用于奖励模型（reward models），这类模型用来指导或调整其他模型的行为。PairwisePeftTrainer类，继承自PeftTrainer，专门用于计算成对损失（pairwise loss），这是在奖励模型训练中经常使用的一种方法。

  1. 初始化和属性:

    • 类初始化时调用了基类PeftTrainer的初始化方法，并设置了can_return_loss属性为True。这表明这个训练器可以在评估过程中返回损失值，这对于监控和优化模型非常重要。

  2. 计算损失:

    • compute_loss

      方法是这个类的核心。在这里，它计算成对损失，即比较一对样本的奖励分数，并根据它们的差异计算损失。具体实现如下：

      • 输入处理：输入字典inputs包含了批量数据，该方法首先通过input_ids的大小确定批次大小（batch_size），这假定输入的批次是成对的（即每两个样本为一组）。
      • 模型计算：调用模型得到输出，其中values是从模型最后一个输出（EOS token，即句子结束符）得到的分数，代表整个句子的奖励。
      • 分割奖励：将values分成两部分，r_accept和r_reject，分别代表接受和拒绝这个样本的奖励分数。假设成对的输入中，前半是"好"的样本，后半是"差"的样本。
      • 损失计算：损失是基于r_accept和r_reject的差异计算的，使用的是对数sigmoid损失函数，这种方法通常用于处理成对或二元选择任务，公式为-log(sigmoid(r_accept - r_reject))。这种损失函数鼓励模型增加"好"样本的分数，减少"差"样本的分数，使模型能够区分高质量和低质量的输出。

  3. 输出:

    • 如果return_outputs为True，则返回一个元组，包括计算的损失值和每个样本的具体奖励分数（接受和拒绝）。这可以用于进一步的分析和优化。

总结来说，PairwisePeftTrainer通过对成对样本的比较，强化模型对"好"与"差"样本的区分能力。这种训练方式非常适合于那些需要精细评估和选择最佳响应的任务，如文本摘要、对话系统中的回复生成等。这类奖励模型训练策略强调了通过直接比较来学习和优化，是一种有效的训练手段。

成对损失（Pairwise Loss）是一种在机器学习中常用于比较任务的损失函数，尤其适用于那些需要模型学习区分两个样本优劣的场景。这种损失函数设计是为了直接比较成对的样本，并优化模型以正确区分它们。

成对损失的基本概念

成对损失主要用于排序问题、推荐系统和一些特定的分类任务中，它基于以下几个关键点：

  1. 成对样本：训练数据由成对的样本组成，通常一个样本是正面（更好）的，另一个是负面（较差）的。
  2. 目标：目标是使模型能够正确区分这两个样本的优劣，即让模型更倾向于将高质量的样本评分高于低质量的样本。

具体实现

在你提供的代码中，成对损失是通过以下方式实现的：

  • 使用模型的输出，这里是每个样本句子结束符（EOS）的输出值，作为该样本的“奖励”。
  • 计算两组样本（接受和拒绝）的奖励差异。
  • 使用sigmoid函数和对数损失来计算最终损失。公式是-log(sigmoid(r_accept - r_reject))，这个函数形状鼓励模型增大接受样本的分数，减少拒绝样本的分数。

损失函数的选择

成对损失的一个典型选择是对数损失函数，它可以强化模型对成对样本间差异的识别能力。这种损失函数的优点包括：

  • 直接优化差异：这种损失直接针对样本间的差异进行优化，这对于那些需要精确比较的任务尤为重要。
  • 灵活性高：可以根据不同的应用需求调整差异的计算方式，例如通过不同的激活函数或不同的差异计算策略。
  • 有助于排序和推荐：在推荐系统和信息检索领域尤为有用，因为这些领域经常需要对项目或信息进行排序。

应用场景

成对损失在多种应用场景中都非常有用，如：

  • 推荐系统：优化模型以更好地排序推荐项。
  • 信息检索：改进搜索算法，以便于更准确地排序搜索结果。
  • 文本生成：比如你的代码所示的奖励模型训练，优化生成的文本质量。

总之，成对损失是一种强大的工具，可以帮助模型学习如何根据质量或相关性准确地排序或区分对象，这对于提升模型在特定任务上的表现至关重要。

训练后获得其loss并将其绘制成为图像：
在这里插入图片描述

PPO 训练策略

编写 rm 训练的脚本 ds_rm.sh，和上述的模板以及sft相应的模板内容，编写类似的sft和rm过程的调用脚本，利用近端策略优化机制对文本的生成内容进行一定的优化。

accelerate launch src/train_ppo.py \
    --model_name_or_path /home/mnt/workspace/model/chatglm2-6b-32k \
    --dataset judgement  \
    --do_train \
    --finetuning_type lora \
    --output_dir /home/mnt/workspace/trained \
    --overwrite_cache \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 1e-3 \
    --num_train_epochs 15.0 \
    --plot_loss \
    --fp16

在之前所描述的代码中，PPO策略进行微调预训练模型而设计的。它继承自PPOTrainer和PeftTrainer，融合了两者的特点，实现了在序列到序列（seq2seq）任务中的应用。实际应用中使用PPO策略来优化序列生成任务。通过精心设计的训练循环和更新策略，它能够有效地利用PPO的优势，提高模型在特定任务上的表现。

PPO的实现和过程主要体现在PPOPeftTrainer类中的ppo_train方法。这个方法详细定义了如何使用PPO进行训练，包括数据的处理、模型响应的生成、奖励的计算，以及基于这些奖励进行的策略更新。下面逐步分析这一实现：

  1. 数据准备和迭代
  • 使用iter(self.dataloader)初始化数据加载器，这保证了每个训练步骤都能从数据集中获取新的数据样本。
  1. 响应生成
  • 在每个训练步骤中，generate函数被调用来生成模型对应的响应。这一部分主要利用当前模型策略（由模型参数决定）根据输入数据产生输出。
  1. 计算奖励
  • 为了计算奖励，模型首先在生成响应之后，调整为奖励模型模式（可能通过改变其内部状态或使用特定的奖励计算模型）。奖励的计算是基于生成的响应和一些内部逻辑，可能涉及到与真实数据的比较或其他评估标准。
  • 在self.model(**self.prepare_model_inputs(queries, responses))中，模型接收处理好的查询和响应，然后输出奖励值。
  1. PPO 更新步骤
  • 在计算出奖励后，代码执行PPO的关键部分，即策略更新。这通常涉及计算新策略与旧策略之间的比例，然后根据PPO的目标函数来更新策略参数。具体的实现细节可能隐藏在self.step(queries, responses, rewards)调用中，这里的step方法可能封装了梯度计算和参数更新的逻辑。
  • 重要的是，更新过程中使用了梯度累积（config.gradient_accumulation_steps），这是一种常用的技术，可以在不增加显存需求的情况下，有效地处理更大的批次数据。
  1. 训练监控和日志记录
  • 训练过程中使用了loss_meter和reward_meter来追踪损失和奖励的平均值，这有助于监控训练的进展和效果。
  • 在特定的训练步骤，通过日志记录当前的损失、奖励、学习率等信息，以及通过self.log_callback.on_log回调函数记录这些信息，这有助于外部监控和分析训练过程。
  1. 模型的保存和持久化
  • 定期保存模型的状态，确保训练过程中的进展不会丢失，同时允许从特定检查点恢复训练。

这个PPO实现过程的核心在于如何根据奖励来调整和优化策略，以及如何在此基础上实现有效的训练和参数更新。通过将PPO策略集成到自定义的训练器中，代码有效地将PPO的理论优势转化为实际的训练性能提升。

并绘制训练过程的损失图像：

在这里插入图片描述

人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF
丨汀、的博客
07-17 2404
奖励模型通过与人类专家进行交互，获得对于生成响应质量的反馈信号，从而进一步提升大语言模型的生成能力和自然度。与监督模型不同的是，奖励模型通过打分的形式使得生成的文本更加自然逼真，让大语言模型的生成能力更进一步。通过强化学习的训练方法，迭代式的更新奖励模型（RW 模型）以及策略模型（RL 模型），让奖励模型对模型输出质量的刻画愈加精确，策略模型的输出则愈能与初始模型拉开差距，使得输出文本变得越来越符合人的认知。这种训练方法也叫做 RLHF。
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
详解大模型PPO、DPO的训练过程
Antai_ZHU的博客
07-10 3288
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
ningmengzhihe的博客
06-30 1万+
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
【深度强化学习】PPO算法
qq_40718185的博客
12-16 1144
PPO是一种用于策略优化的强化学习算法，旨在提高训练的稳定性和效率。其核心思想是通过比较新旧策略，以渐进的方式更新策略，同时引入一个剪切项来控制更新的大小，从而防止过度的策略变化。使用 PPO Loss 函数进行策略网络的更新。PPO Loss 由两部分组成，一部分是优势加权的策略损失，另一部分是剪切项，限制单次更新的幅度。PPO算法的关键在于通过对比新旧策略，引入剪切项，来渐进地更新策略，确保在学习过程中保持相对的稳定性。使用值函数网络计算每个状态的优势函数，即估计的未来累积回报相对于状态值的差异。
PPO-强化学习算法
Mystery
01-22 4779
文章目录Quick FactsKey EquationsExploration vs. ExploitationPseudocodeDocumentaton PPO受到与TRPO相同的问题的激励：我们如何才能使用当前拥有的数据在策略上采取最大可能的改进步骤，而又不会走得太远而导致意外导致性能下降？ 在TRPO试图通过复杂的二阶方法解决此问题的地方，PPO是一阶方法的族，它使用其他一些技巧来使新策略...
一切皆是映射：AI Qlearning核心算法解析
最新发布
AI天才研究院
09-30 684
一切皆是映射：AI Q-learning核心算法解析 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在人工
【chatGPT】
Chensan_的博客
04-27 2万+
更强大的创造力和适应力，GPT-4具有强大的创造力，它可以根据不同的主题、风格、语言等生成各种类型的文本，比如歌曲、剧本、小说等。GPT-4是一个多模态大型语言模型，使用了1.5万亿个参数，比GPT-3.5增加了10倍，也是目前世界上最大的人工智能模型，这一版本的 GPT 已经趋近于AGI（人工智能通用智能），为我们带来了更深层次的 AI 体验。比如我们有很多马的图片通过生成模型学习这些马的图像，从中学习到马的样子，生成模型就可以生成看起来很真实的马的图像并却这个图像是不属于训练图像的。
RLHF中的PPO算法过程微观拆解
qq_34603425的博客
09-08 2177
强化学习中的PPO算法微观拆解。在强化学习中，Rollout是指在给定的策略下模拟环境的过程。在PPO中，Rollout的过程对应于根据当前的语言模型（策略）生成文本（轨迹）。这个过程依赖于在prompt库中抽取的一个batch的数据Batch Prompt和当前的语言模型LM。语言模型接收一个prompt作为输入，并生成一个Response。这些Response就构成了我们的"轨迹"。Evaluate是在强化学习中对生成的轨迹（在我们的例子中就是文本）进行评估的步骤。在PPO中，这个评估过程由一个。
强化学习PPO算法详解
edward_zcl的博客
01-12 1591
也就是上图所描述的方法。接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；在上面的介绍方法中PG在更新的时候的基本思想就是增大奖励大的策略动作出现的概率，减小奖励小的策略动作出现的概率。下选择相应的动作来执行，环境根据Agent的动作，反馈新的状态以及奖励，Agent又根据新的状态选择新的动作，这样不停的循环，知道游戏结束，便完成了eposide。
【深度强化学习】(6) PPO 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-13 4万+
近端策略优化算法PPO（proximal policy optimization），具备 Policy Gradient、TRPO 的部分优点，采样数据和使用随机梯度上升方法优化代替目标函数之间交替进行，但 PPO 提出新目标函数，可以实现小批量更新。PPO 算法可依据 Actor 网络的更新方式细化为含有自适应 KL-散度（KL Penalty）的 PPO-Penalty 和含有 Clippped Surrogate Objective 函数的 PPO-Clip。
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 3万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
强化学习之PPO
小星AI
09-09 4332
阅读本文前先了解TRPO算法有助于理解，我对此也写过博客：https://blog.csdn.net/tianjuewudi/article/details/120191097 参考李宏毅老师的视频：https://www.bilibili.com/video/BV1Wv411h7kN?p=80 PPO，全名Proximal Policy Optimization，近端策略优化算法。 PPO算法是一种新型的Policy Gradient算法，Policy Gradient算法对步长十分敏感，但是又难以选择合
强化学习之 PPO 算法
发呆的比目鱼的博客
11-09 8002
强化学习之PPO算法
深度强化学习笔记之PPO实现细节（2）
Azahaxia的博客
05-27 2768
强化学习笔记之PPO的实现细节（2） 本文主要参考于Coding PPO from Scratch with PyTorch系列，但本文并不会像该系列一样手把手讲解全部的实现细节，只是记录一下自己在实现过程中遇到的一些问题和思考。 下图是采用Clipped Surrogate Objective的PPO伪代码，本文的代码实现主要根据它来实现。 1.构建目标函数 PPO算法的实现重点，就是为了得到上图中的两个目标函数。也就是说，我们只要可以构造出式(1)和式(2)作为损失函数，基本就实现了PPO。 θk+1
强化学习--DQN
wangaolong0427的博客
04-18 1478
系列文章目录 强化学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、强化学习是什么？二、核心算法(深度强化学习) DQN1.什么是DQN?总结 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 。 一、强化学习是什么？ 强化学习是智能体（Agent）以“试错”的方式
【学习强化学习】五、PPO算法原理及实现
weixin_42301220的博客
02-25 4856
文章目录参考资料1. From On-policy to Off-policy1.1 on policy and off policy 回顾1.2 PPO引入 参考资料 https://datawhalechina.github.io/easy-rl/#/chapter5/chapter5 1. From On-policy to Off-policy 1.1 on policy and off policy 回顾 在讲 PPO 之前，我们先回顾下 on-policy 和 off-policy 这两种训
深度增强学习PPO（Proximal Policy Optimization）算法源码走读
热门推荐
世事难料，保持低调
05-27 10万+
OpenAI出品的baselines项目是一系列reinforcement learning（强化学习或增强学习）算法的实现。现在已经有包括DQN,DDPG,TRPO,A2C,ACER,PPO在内的近十种经典算法实现，同时它也在不断扩充中。它为对RL算法的复现验证和修改实验提供了很大的便利。本文主要走读其中的PPO（Proximal Policy Optimization）算法的源码实现。PPO是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值