研究篇| 一款深入浅出的微调框架

最新推荐文章于 2025-03-17 15:20:49 发布
最新推荐文章于 2025-03-17 15:20:49 发布
阅读量1.9k 收藏 26
点赞数 26
分类专栏： 大模型理论与实践 文章标签： 微调 大模型 大模型微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youbingchen/article/details/139099786
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
选择篇| 微调 VS RAG
youbingchen的博客
06-27 1473
不同于完全从头训练一个全新模型，Fine-Tuning （微调）巧妙地利用了 PLM 在大规模语料上学习到的通用语义表征，在此基础上进行"权重调校"，从而大幅提高了模型收敛的速度和效率, 微调本质是将特定领域知识记忆纳入到模型的参数中, 经过微调后，模型可以为你提供更准确、更接近你特定领域的答案。数据要求：有效的微调工作需要大量且精心策划的数据集，数据集是微调模型的必然要求, 收集自己领域的数据并非易事, 虽然现在也出现一些数据集是利用chatgpt方式生成, 但是总体要生成高质量数据集也非易事。
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 3349
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
LLM大模型微调入门Lora（LlamaFactory）
qq_41359817的博客
11-12 1774
是一个开源框架，旨在简化大型语言模型的定制化微调流程。该框架整合了多样化的训练策略与监控工具，支持通过命令行界面（CLI）和网页用户界面（WebUI）等多种方式进行交互，显著降低了进行模型微调所需的技术门槛。通过 LLaMA-Factory，用户能够更加高效、便捷地调整模型以适应特定的应用场景或数据集，进而提升模型性能和应用效果。
微调框架Llama-factory和Unsloth：应该选择哪个？
wangjye99的博客
09-05 5269
测试表明，UNSLOTH和LLAMA-FACTORY在社区支持、模型种类和易用性上相近，但UNSLOTH在微调速度上表现突出。尽管处理的数据量是LLAMA-FACTORY的20倍，UNSLOTH的速度仍快约2.5倍，极大优化了时间成本，尤其在大规模数据处理中的效率优势显著。
LLaMA-Factory部署以及微调大模型
qq_35594661的博客
03-05 2954
安装成功后，输入python能出现截图表示安装成功。
一文带你了解大模型微调框架
m0_48891301的博客
01-20 2248
大模型的微调（Fine-tuning），通常是指在已经预训练好的大型语言模型（LargeLanguageModels，简称LLMs）基础上，使用特定的数据集进行进一步的训练，以使模型适应特定的任务或领域。这个过程可以让模型学习到特定领域的知识，优化其在特定NLP任务中的表现，比如情感分析、实体识别、文本分类、对话生成等。1、预训练模型：在微调之前，大模型通常已经经过大量的无监督预训练，这使得模型掌握了语言的基本统计特征和知识，具备了预测下一个词的能力。2、任务特定的数据集。
模型微调之基础篇：模型微调概念以及微调框架
yxkong的专栏
03-14 960
之前我们一直强调，大语言模型（LLM）是概率生成系统。能力边界知识时效性：模型知识截止于训练数据时间点推理局限性：本质是概率预测而非逻辑运算，复杂数学推理易出错（deepseek的架构有所不同）专业领域盲区：缺乏垂直领域知识幻觉现象：可能生成看似合理但实际错误的内容之前一直讲解如何通过各种不同的知识库进行知识片段的检索，并通过提示词临时注入到大模型。从今天开始，我会写一写微调相关的文章。定义：在预训练大模型（如GPT、BERT）的基础上，使用特定领域或任务的数据进行额外训练，使模型适应新任务。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5377
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 4933
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
深入浅出TensorFlow框架解读
资源摘要信息:"TensorFlow是一款由谷歌开发的开源机器学习框架，适用于各种复杂的数据流程序，特别是在大规模神经网络方面。自从2015年开源以来，TensorFlow已经成为业界广泛使用的深度学习库之一。它支持多种语言...
深入浅出剖析AI生成小说平台Midreal AI
女王の专属领地
10-22 2871
MidReal AI的商业模式主要围绕其AI生成小说产品展开，该产品由MIT、NYU、剑桥和普林斯顿联合打造，旨在提高普通网文作者的生产力。MidReal AI通过生成长篇小说和短剧剧本，帮助内容创作者提高效率，并且在中文AI社群中表现出色，有创作者分享使用MidReal写霸总文的经验，称其文笔不逊色于现有的网文作者。此外，MidReal还开发了游戏化产品，提供图文互动体验，用户只需输入一句世界观即可生成满足幻想的故事。
四个大模型轻量级微调训练框架：兼看PPT转Markdown工具
强化学习曾小健
07-28 3657
本文主要看了看当前的四个微调训练框架以及文档智能工具-PPT转Markdown工具的一些实现逻辑，实现都很简单。大家对微调、文档处理等有需求的，可以跑一跑，会有一定收获。
模型微调概念以及微调框架的对比分析：LLaMA-Factory、Hugging Face Transformers、 DeepSpeed和Unsloth
2401_83450572的博客
03-14 712
模型微调框架的选择需综合任务规模、硬件条件及开发效率。LLaMA-Factory和Hugging Face Transformers覆盖了大多数轻量级到中规模需求，而DeepSpeed和Unsloth分别专精于超大规模训练与极致效率优化。开发者可根据具体场景灵活组合工具链，例如使用Hugging Face生态构建原型，再通过DeepSpeed扩展至生产环境。
ModelScope ms-swift：轻量级模型微调框架
engchina的专栏
01-02 1234
ModelScope ms-swift：轻量级模型微调框架
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
数智笔记
04-08 1766
高效微调对于将大型语言模型（LLMs）适应下游任务至关重要。然而，在不同模型上实施这些方法需要付出相当大的努力。我们提出了LLAMAFACTORY，这是一个统一的框架，集成了一套尖端的高效训练方法。它允许用户通过内置的Web UI LLAMABOARD 灵活定制100多种LLMs的微调，无需编码。我们在语言建模和文本生成任务上经验性地验证了我们框架的效率和有效性。该框架已在发布，并已获得超过13,000颗星和1,600个分支。
主流的模型微调框架推荐
学亮编程手记
02-25 1136
以下是主流的模型微调框架推荐，并结合。
深度学习-47-大语言模型LLM之常用的大模型微调框架选择建议
qq_20466211的博客
11-26 920
对比分析LLaMA-Factory、Unsloth 和 Hugging Face Transformers这三个主流的微调框架。
大模型微调之基础篇：大模型微调概念以及微调框架
最新发布
zhishi0000的博客
03-17 1397
在大模型微调领域，存在多种框架，每个框架都有其独特的优势和局限性。下面介绍几种常见的微调框架，包括示例代码和适用模型，帮助你根据任务需求选择最合适的框架。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿阿三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值