大模型之SFT提效

最新推荐文章于 2024-07-10 12:09:22 发布
最新推荐文章于 2024-07-10 12:09:22 发布
阅读量293 收藏
点赞数 3
分类专栏： 大模型 文章标签： 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinselizhi/article/details/139003006
版权

技巧v1：

1、数据择优：数据去重降低重复数据带来的计算量：基于正则匹配，minhash 等算法

2、减少训练steps：训练语料中多条 concat 为一条，使不同 batch 的语料 token 数目基本一致，从而降低 padding 对计算效率的影响

3、使用 bf16 数值类型代替 fp32 数值类型
与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以减半。
但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；FP16 表示整数范围较小，但是尾数精度较高。

4、测试训练效率最高的 DP/TP/PP 参数

5、freeze transformer 模型的底层参数

6、多轮对话拆成多条训练数据，对每个response都进行predict和loss计算

SFT提效

谁怕平生太急
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SFT模型的性能调优：实战案例分析
禅与计算机程序设计艺术
03-10 193
1. 背景介绍 1.1 什么是SFT模型 SFT（Scalable Feature Transformation）模型是一种用于大规模数据集上的特征转换和性能调优的方法。它通过将原始特征空间映射到新的特征空间，以提高模型的性能和泛化能力。SFT模型在许多实际应用场景中取得了显著的成果，如推荐系统、自
大语言模型的sft
liguandong
06-07 399
LIMA只构建了1K高质量数据，经人工审核和修改格式统一，在llama-65B上效果很好，说明大语言模型的主要知识来源于预训练，而仅需少量优质调整数据即可引导模型高质量输出。训练集本身存在的任务数据不平衡也是一个不可忽视的问题，某个任务占比大，那其他占比小的任务大概率也是不稳定的。针对每个任务独立训练模型，任务的取舍与额外训练，例如在4个任务重，有2个任务比较重要，可以在全部任务训练完毕后，对这两个关键任务额外训练多一个epoch。d.避免引入模型在预训练阶段未接触过的知识，以减少模型产生幻觉的风险。
大模型应用中什么是SFT（监督微调）？
Chauvin的博客
07-10 2715
监督微调（Supervised Fine-Tuning, SFT）是对已经预训练的模型进行特定任务的训练，以提高其在该任务上的表现。预训练模型通常在大量通用数据上进行训练，学到广泛的语言知识和特征。在SFT过程中，利用特定任务的数据，对模型进行进一步调整，使其更适合该任务。监督微调（SFT）通过使用特定任务的数据集对预训练模型进行进一步训练，从而优化模型在该任务上的性能。这种方法在自然语言处理领域有广泛的应用，如文本分类、问答系统和对话生成等。
大模型训练基本流程讨论
chaishen10000的专栏
06-20 7208
让pre-model自动化的生成模版，思路如下，fix主pre-train模型，让模型对有标注的任务做训练，模型学习后改的输入的句子embbeding，当然输入原句是不改的，只是让模型改非输入句子部分，最后就可以自动化的学习到最有prompt模版了。通常情况下，预训练模型的大小越大，它在各种任务上的表现也越好，但同时需要消耗更多的计算资源[1]。这张图表示的意思是，我还是我，但是我经过简单变化和学习后，我就可以成为多样不一样的我，但是pre-train模型是不动的，动的只是参入的参数，眼睛、一幅、装饰。
使用大型语言模型进行监督微调（SFT）从想法到实现的工作过程中理解SFT的工作原理...
数智笔记
02-27 7488
监督微调（SFT）是LLM对齐过程中的第一步训练。实际上，它非常简单。首先，我们需要整理一组高质量的LLM输出数据集 ——这些基本上只是LLM正确行为的示例；请参见下文。然后，我们直接在这些示例上对模型进行微调。这里，“监督”微调的方面来自于我们正在收集一个模型应该模仿的示例数据集。然后，在微调过程中，模型学习复制这些示例的风格。**与下一个标记预测的关系。**有趣的是，SFT与语言模型预训练并没有太大的区别 -预训练和SFT都使用下一个标记预测作为它们的基本训练目标！
从0开始预训练1.4b中文大模型实践
zenRRan的博客
03-02 1557
作者：Lil2J@知乎（已授权）链接：https://zhuanlan.zhihu.com/p/684946331简介这篇文章主要记录了我个人对1.4b中文大模型的实践复现过程。我选择了QWEN作为基座模型，并训练了一个参数量达到1.4b的预训练模型，其中涉及的训练token数量约为8b。在此过程中，我使用了两张a100 80g显卡，并耗费了大约100个小时的训练时间。尽管这个规模无法与其他大型模...
大模型-大模型SFT微调训练基础认知视频
03-16
大模型SFT（可能是“Sequential Fine-Tuning”或特定的模型名称）是一种经过预训练的巨大神经网络模型，用于在特定任务上进行微调，以提高其性能。本视频课程旨在介绍大模型SFT微调训练的基础知识，帮助学习者理解和...
SFT模型的调优策略：专家篇
禅与计算机程序设计艺术
03-11 218
随着大数据时代的到来，机器学习在各个领域的应用越来越广泛。在机器学习中，模型调优是一个非常重要的环节，它直接影响到模型的性能和实际应用效果。本文将介绍一种名为SFT（Sparse Feature Transformation）的模型调优策略，以及如何在实际应用中进行调优。SFT（Sparse Feature Transformation）是一种基于稀疏特征的模型调优策略。它的核心思想是通过对原始特征进行变换，生成新的稀疏特征，从而提高模型的性能。
大规模语言模型从理论到实践 SFT模型和RL模型评估
AI大模型应用之禅
06-20 736
1. 背景介绍 随着人工智能技术的不断发展，自然语言处理（NLP）也成为了研究的热点之一。大规模语言模型是NLP领域的重要研究方向之一，它可以用于自然语言生成、机器翻译、语音识别等多个领域。近年来，随着深度学习技术的发展，大规模语言模型的性能得到了极大的提升，其中BERT、GPT等模型已经成为了NLP领域的重要里程碑。 然而，大规模语言
《AI大模型应用》--通义千问 SFT试验.zip
最新发布
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
大模型高效参数微调策略
xiangxueerfei的博客
05-27 1520
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。
InstructGPT 精简总结：Training language models to follow instructions with human feedback
weixin_43646592的博客
05-22 1186
InstructGPT 精简总结：Training language models to follow instructions with human feedback
论文笔记SR——SFT
weixin_30730053的博客
07-23 1533
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform Abstract 在单图像超分辨（SR）的高质量重建上，虽然使用CNN会有很好的结果，但是如何恢复自然且逼真的纹理仍是一个挑战性问题。本文在基于语义分割概率图的单个网络中，通过空间特征变换（S...
浅谈大模型的优缺点以及优化方法
2302_76241188的博客
06-01 1241
人工智能大模型，如深度学习模型、神经网络模型等，已经改变了我们对数据处理和分析的方式。然而，尽管它们在各种应用中表现出色，但也存在一些挑战和限制。本文将详细探讨人工智能大模型的优点和缺点，并提出一些方法来优化这些模型，使其“更聪明”。
【AI大模型实战】有监督精调(sft)数据集构建实战教程和代码实例讲解
禅与计算机程序设计艺术
03-21 2511
在人工智能领域，大型预训练模型（如 GPT-3、BERT 等）已经取得了显著的成果。然而，这些模型通常需要大量的标注数据进行微调（Fine-tuning），以适应特定的任务和领域。为了降低数据标注的成本和时间，研究人员提出了一种名为有监督精调（Supervised Fine-tuning，SFT）的方法，该方法利用少量的标注数据对预训练模型进行微调。本文将详细介绍 SFT 数据集构建的实战教程和代码实例。有监督精调方法在利用预训练模型进行迁移学习方面取得了显著的成果。
ChatGLM3-6B实践
m0_46671240的博客
03-25 338
Freeze方法指的是参数冻结，对原始模型的大部分参数进行冻结，仅训练少部分的参数，这样就可以大大减少显存的占用，从而完成对大模型的微调。特别是在Bert模型出来的时候，比较会常用到Freeze的这样一个微调方法，比如Bert有12层，我们把前10层冻结了，只训练后两层。这是一种比较简单微调方法，由于冻结的参数是大部分，微调的参数是少部分，因此在代码中只需要设置需要微调的层的参数即可，把不需要参加训练的层数 requires_grad 设置为False，不让其进行更新，从而达到冻结的这样一个效果。
【LLM】sft和pretrain数据处理和筛选方法
发现问题，并解决问题，批判性思维
10-29 5985
# note - 痛点：训练垂直领域模型，sft数据和增量pretrain数据质量把控很重要 - 当数据不够时，通过self-instruct等方法造多样化的数据 - 当数据很多时，需要清洗/筛选出高质量数据 @[toc] # 一、sft数据的筛选策略 内容概要： - 构造sft数据 - 评估sft数据质量和数量 - 自动化筛选高质量sft数据 ## 1.1 使用self-instruct构造sft数据 论文：《Self-Instruct: Aligning Language Model wit
大模型微调学习
jinxianwei1999的博客
10-13 756
模型微调学习
大模型SFT的实际操作过程
06-25
大模型SFT（可能指的是Transformer架构的大型语言模型，如SFT-Transformer）通常指的是预训练的深度学习模型，比如在自然语言处理中广泛应用的通义千问、GPT-3系列等。这些模型的操作过程主要包括以下几个步骤： 1. **加载模型**：首先，你需要下载或加载预训练好的模型，这通常涉及使用特定的API或SDK，如Hugging Face的Transformers库。 2. **设置环境**：确保你有一个支持GPU（如果有可用的话，因为大模型计算量大）和适当版本的深度学习框架，如PyTorch或TensorFlow。 3. **初始化模型**：使用提供的配置参数初始化模型，这可能包括模型的大小、输入和输出的维度等。 4. **输入处理**：将用户的问题或文本转化为模型可以理解的格式，通常是经过分词、编码和添加填充或截断等预处理步骤。 5. **前向传播**：通过模型的 `.predict()` 或 `.generate()` 方法进行前向传播，给模型提供输入并获取预测结果。 6. **解码输出**：模型可能会生成一系列的可能性或连续的概率分布，需要根据模型的输出进行后续的解析和处理，如选择最可能的答案或进行后处理。 7. **应用到任务**：根据模型的用途（如问答、文本生成等），将模型的输出应用到实际场景中，例如回答问题、生成文章等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值