【LLAMA FACTORY】 freeze模式总结

最新推荐文章于 2025-03-26 17:31:49 发布
最新推荐文章于 2025-03-26 17:31:49 发布
阅读量486 收藏 1
点赞数
分类专栏： AI笔记 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andeyeluguo/article/details/144165661
版权
AI笔记 专栏收录该内容
120 篇文章 ¥59.90 ¥99.00
订阅专栏

训练模式有full， lora（+ qlora）,和freeze模式，感觉freeze模式很少被提及，这里做一个总结
Freeze(冻结微调)指的是在训练过程中只对模型的小部分权重进行更新，这样可以降低对显存的要求。

如果您需要进行冻结微调，请将 finetuning_type 设置为 freeze 并且设置相关参数,
例如冻结的层数 freeze_trainable_layers 、可训练的模块名称 freeze_trainable_modules 等。

以下是一个例子：

… code-block:: yaml

...
### method
stage: sft
do_train: true
finetuning_type: freeze
freeze_trainable_layers: 8
freeze_trainable_modules: all
...

… list-table:: FreezeArguments
:widths: 30 10 50
:header-rows: 1

    • 参数名称
    • 类型
    • 介绍
    • freeze_trainable_layers
    • int
    • 可训练层的数量。正数表示最后 n 层被设置为可训练
了解本专栏 订阅专栏 解锁全文
微调LLM时，full、freeze、lora区别
大AI时代，人性化的信息更加难得可贵
11-07 476
它通过在不同层之间引入可学习的关联系数，来调整模型在每个层级上的相关性。Freeze微调：Freeze微调是指在微调过程中冻结（不更新）部分模型的参数。通常，我们会选择冻结模型的底层（低级的）部分，而只更新模型的高层（高级的）参数。这些微调策略的选择取决于不同的需求和情况。Full微调适用于全面调整模型的情况，而Freeze微调适用于只关注特定任务的情况。LORa微调则提供了一种更加灵活的方式来调整模型在不同层级上的相关性。Full微调：Full微调是指在微调过程中更新整个模型的所有参数。
LLaMA Factory单机微调的实战教程
热门推荐
herosunly的博客
04-24 20万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
Llama-factory详细基础使用说明
dtl6540158的博客
10-08 1万+
对于初入算法的童鞋来说，有的可能还不知道llama-factory是什么，只知道大模型用到了这个框架，这是不行的。LLaMA-Factory 是一个低代码的大规模语言模型（LLM）训练框架，它主要面向研究人员和开发者，旨在简化大型语言模型的微调、评估和部署过程。白话说就是集合了当下LLM领域各种好用的开源或者自研的框架以及工具，进行封装以及优化，简化使用方法，方便大家对大模型进行微调和评估部署等工作，降低了使用难度。包括推理框架vllm等（具体可以看官网哈，下面有地址）易用性 vs. 性能。
LLaMAFactory微调框架的参数解读
litchi0_0的博客
03-10 1019
通过低秩适配器（Low-Rank Adaptation）微调，仅训练少量参数，适合资源有限场景。（Half-Quadratic Quantization）：高效量化，适合低精度推理。：冻结大部分层，仅微调特定层（如分类头），速度最快但灵活性低。：全参数微调，更新所有模型参数，效果最佳但显存消耗大。：8位或4位量化，大幅减少显存，但可能轻微降低效果。：最常用的量化库，支持8/4-bit，兼容性好。：梯度+参数分片，显存需求更低但通信开销更大。（监督微调）：基础任务，用标注数据微调模型。
ChatGLM系列三：Freeze微调
永胜的博客
10-27 1126
目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。Freeze: 即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。Freeze仅训练模型后五层的全连接层参数训练、评估也是基于ChatGLM-Efficient-Tuning框架。
大模型微调方法：冻结方法 Freeze、P-Tuning 系列、LoRA、QLoRA
Debroon
12-13 9919
在 Prompt Tuning 中，连续提示仅插入到 Transformer 的第一层输入嵌入序列中，而在接下来的Transformer层中，连续提示位置的嵌入是由之前的 Transformer 层计算得到的。在 P-tuning v2 中，作者发现重参数化的改进很小，尤其是对于较小的模型，同时还会影响模型的表现。：传统的预训练模型中，只有最后一层或者少数几个层的参数会被更新，而其他层的参数保持不变。因此，只微调后几层的全连接层参数，可以保留预训练模型的大部分知识，同时通过微调来适应具体任务的特定要求。
冻结训练的解释
whaterverittakes的博客
09-11 709
冻结训练的个人见解
大语言模型训练， Freeze方法、Lora方法、P-Tuning方法、全量参数在训练时、适用场景方面都有什么区别
creativity2021的博客
03-06 886
大语言模型训练，微调方法优缺点
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 3544
参考。
Llama Factory ：百种以上语言模型的统一高效微调框架
人工智能讲师分享前沿技术
09-10 3110
人工智能咨询培训老师叶梓 转载标明出处大模型适应到特定下游任务时，传统的全参数微调方法成本高昂，因此，研究者们一直在探索更高效的微调技术。由北京航空航天大学和北京大学的研究团队提出了一个名为Llama Factory的统一框架，旨在解决大模型高效微调的问题。该框架整合了一系列前沿的高效训练方法，使用户能够灵活地定制100多种大模型的微调过程，而无需编写代码。通过内置的Web用户界面Llama board，用户可以轻松地进行模型微调和监控训练状态。
LLama Factory+ModelScope实战——使用 Web UI 进行监督微调
南七小僧的学海无涯
07-11 528
我们在浏览器地址栏中输入 http://localhost:7860 进入 Web 界面，接着可以在“语言/Language”选项中，将界面的语言修改为“中文/zh”，然后在模型名称中选择“Yi-6B”，在模型路径中选择“01ai/Yi-6B”。适配器指的是 lora 微调的输出结果，可以理解为将预训练模型的输出转换为目标形式的组件，需要搭配预训练模型一起使用。注意，在模型的微调过程中，使用较小的保存间隔可能会在训练的过程中保存大量的检查点（checkpoint），占用大量的磁盘空间。
EDA/PLD中的利用Freeze技术的FPGA实现低功耗设计
12-04
由于更严格的功耗限制、规范和标准要求，系统设计师现在比什么时候都关注功耗问题。对于下一代的设计，功耗预算通常得到稳定的控制，或者降低，但却增加了更多的特性和处理能力需求。通常，尽管产品特性和性能需求不断增加，功耗预算还是很紧张，功能和性能的增加与降低功耗的目的是相矛盾的。摩尔定律效应缩小了工艺的尺寸加大了功耗问题，而且由于高的晶体管泄漏增加了静态功耗。 　　如数码相机、无线手持设备、智能电话和多媒体播放器这些电池供电应用的增长，推动了对低功耗半导体器件的需求。这种需求的爆发性增长加之对节能的不断提高的要求，特别是与电池寿命相关的节能要求，导致对低功耗半导体技术的全球性需求。其结果是，半导体
LLama factory 硬件估算
yxx122345的博客
12-10 1521
硬件估算表帮助我们理解不同方法在不同模型规模下的显存需求，提供选择优化策略的依据。通过合理选择方法（如 AMP、QLoRA）和硬件配置，可以在硬件受限的情况下高效完成大模型的训练或推理。
【Python3学习笔记】之【Python基础——输入和输出】
AA8j的博客
09-14 456
输出格式美化 Python 有两种输出值得方式：表达式语句和 print() 函数。 第三种方式是使用文件对象的 write() 方法，标准输出文件可以使用 sys.stdout 引用。 如果你希望输出形式更多样，可以使用 str.format() 函数来格式化输出值。 如果你希望输出的值转换为字符串，可以使用 repr() 或 str() 函数来实现。 str()：函数返回一个用户易读的表达形式 repr()：产生一个解释器易读的表达形式 name = 'Job' gender = 'male' pr
LLaMA-Factory参数的解答（命令，单卡，预训练）
精神病院逃出来的疯子写的博客
04-26 1万+
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！LLaMA-Factory项目的地址：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md在LLaMA-Factory项目中，单显卡可以用命令或web页面训练，多显卡只能用用命令的方式，此文章以命令和单显卡为主讲解*
使用layer.trainable = False「冻结」网络层
weixin_43790560的博客
05-20 1万+
最近在构建深度学习网络时，发现了一段代码难以理解： for layer in base_model.layers: layer.trainable = False 于是查了一下keras中文文档，得到一下解释： 「冻结」一个层意味着将其排除在训练之外，即其权重将永远不会更新。这在微调模型或使用固定的词向量进行文本输入中很有用。 您可以将 trainable 参数（布尔值）传递给一个层的构...
20K star！手把手教会你搞定 LLM 微调，超详细收藏我这篇就够了
m0_65555479的博客
07-08 1982
在人工智能领域，大型语言模型(LLM)微调（Fine-Tuning）是当下最热门的话题之一。总体来说LLaMA Factory 是一个非常优质的工具，在LLM微调中帮助用户节省了大量的精力。这些模型拥有惊人的语言理解和生成能力，但要微调和部署它们以适应特定任务，往往需要大量计算资源和专业知识，代码调试还得有深厚的技术功底。
torchvision源码解读——Faster-RCNN
graviton的博客
11-26 268
概述 torchvision是用pytorch写成的著名的计算机视觉库，这篇博客介绍经典的目标检测算法Faster-RCNN，而torchvision中的Faster-RCNN选取的特征提取网络是ResNet-50,并且还加上了后来的研究成果FPN(特征金子塔) ...
大模型是怎么被训练出来的？AI大模型落地必读
最新发布
呱牛 Just do IT
03-26 816
2025年年初随着DeepSeek的爆火，人们对LLM（Large Language Model，大语言模型）兴趣与日激增，很多人觉得LLM常常显得近乎魔法般神奇。接下来我们就来揭开LLM的神秘面纱。
freeze微调 llama factory
01-07
### 对LLaMA模型进行冻结微调的方法 在处理大型预训练语言模型如LLaMA时，采用冻结部分参数的微调策略能够有效减少计算成本并保留大部分预训练效果。具体而言，在此过程中，除了选定的一些层或组件外，其余网络权重将保持固定不变[^2]。 对于LLaMA这类复杂的架构来说，可以考虑仅调整顶层结构或是特定功能单元（比如自注意力机制中的参数），以此来适应新的目标任务需求而不改变整体框架的核心特性。这种方法特别适用于那些拥有有限硬件设施的研究者们，因为它能够在不牺牲太多表现力的前提下大幅降低资源消耗。 下面是一个简单的Python代码片段展示如何实现这一过程： ```python import torch from transformers import LlamaForCausalLM, Trainer, TrainingArguments model_name_or_path = "path_to_pretrained_llama" output_dir = "./fine_tuned_model" # 加载预训练好的LLaMA模型 model = LlamaForCausalLM.from_pretrained(model_name_or_path) # 冻结除最后一层之外的所有参数 for param in model.parameters(): param.requires_grad_(False) # 解冻最后几层用于微调 for layer in model.transformer.h[-3:]: for parameter in layer.parameters(): parameter.requires_grad_(True) training_args = TrainingArguments( output_dir=output_dir, num_train_epochs=3, per_device_train_batch_size=8, save_steps=10_000, save_total_limit=2, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, # 用户需定义自己的训练集 eval_dataset=val_dataset # 用户需定义自己的验证集 ) trainer.train() ``` 通过上述方式设置好要优化的部分之后，就可以利用`transformers.Trainer`接口来进行常规意义上的监督学习流程了。值得注意的是，尽管这种方式有助于节省算力开支，但在面对复杂度较高的下游任务时可能会遇到瓶颈——即当数据分布较为特殊或者样本规模较大时，完全依赖少数可变参数未必能取得最佳成绩[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

andeyeluguo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值