📖标题:Minor SFT loss for LLM fine-tune to increase performance and reduce model deviation
🌐来源:arXiv, 2408.10642
摘要
🔸Instruct LLM提供了一种用于将LLM与人类偏好对齐的大规模语言模型范式。该范式包括受监督的微调和从人类反馈中进行强化学习。该范式也用于下游场景,以使LLM适应特定的语料库和应用程序。与受监督微调(SFT)相比,有许多努力集中在RLHF上,并提出了几种算法,例如PPO、DPO、IPO、KTO、MinorDPO等。同时,SFT的大部分工作集中在如何收集、过滤和混合高质量数据上。
🔸在本文中,借鉴DPO和MinorDPO的见解,我们提出了一个用于衡量优化模型和原始模型之间差异的SFT训练指标,以及一种可以增加训练效果、减少优化LLM和原始LLM之间差异的损失函数MinorSFT。
🛎️文章简介
🔸研究问题:当基础模型足够强大时,如何训练才能避免过多改变语言分布以保持通用性和多样性?
🔸主要贡献:论文提出了一种改进的损失函数MinorSFT,通过引入动态样本级别的系数来控制学习强度,从而在减少模型偏离的同时提高性能。
📝重点思路
🔺相关工作
🔸根据人类反馈进行强化学习,是一种使LLM与人类偏好保持一致的流行技术,通常先通过SFT监督训练LLM,再通过PPO等偏好对齐算法进一步优化。
🔸常见的偏好对齐算法包括DPO、MinorDPO、IPO和KTO等,都使用显式或隐式约束(如KL散度)来限制LLM优化的偏差。
🔺论文方案
🔸主要思想:借鉴DPO等启发,将约束引入SFT,以减少LLM偏差并保持多样性,也许能够进一步提高性能。
🔸实现方案:提出了一种名为MinorSFT的改进损失函数,该函数在SFT阶段引入了一个动态样本级别的系数,以控制学习强度。
🔸原理分析:该系数能够隐式调整语料库分布,使得训练过程中更多地关注复杂或困难的样本,从而在保持模型多样性的同时减少模型偏离。
🔎分析总结
🔸MinorSFT在三个数据集上都表现最佳,这归功于样本级别的动态系数,使得训练更多地关注复杂样本。
🔸MinorSFT需要比原始SFT更高的学习率来达到最佳性能,因为样本动态系数在训练过程中会随着奖励的增长而衰减。
🔸尽管需要更高的学习率,MinorSFT相比原始SFT具有更低的偏离度。
🔸使用DPO的SFT表现不如MinorSFT,原因在于DPO使用相同的超参数β来处理所有样本,而β作为平均因子导致了性能回归。
💡个人观点
论文的核心在于通过动态样本级别的系数来控制学习强度,使得训练过程能更有针对性的学习。