如何高效微调你的 LLM

于 2024-07-13 10:41:31 发布
阅读量563 收藏 1
点赞数 20
文章标签： 人工智能 langchain python windows 产品经理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325557/article/details/140396152
版权

AI 探索

  1. 推理服务：关于机器学习模型推理服务工程实践的一系列文章索引。
  2. CUDA 编程框架：从底层的 GPU 硬件结构讲起，关于 CUDA 编程框架以及高性能计算话题的系列文章。
  3. 一文搞懂！如何高效微调你的 LLM：比较了 PEFT 库支持的 LoRA，Prefix Tuning，P-Tuning，Prompt-Tunning 四种微调方法的原理。
  4. AI大模型时代的“卖铲人”：堆栈AI Infra：中金出的关于 AI Infra 研报，内容挺全，可以了解生态。

开源推荐

  1. photoshot：一款开源的 AI 头像生成器 Web 应用程序。
  2. open-interpreter：OpenAI 代码解释器的开源实现，可以直接本地运行，完成度和稳定性都很高。
  3. AwesomeSwift：需要学习SwiftUI 的同学可以参考，整理了日常开发所需的各种元素。

工程师工具

  1. removebg：在线抠图工具，图片去除背景。
  2. FramerAI：一个网站设计平台，它可以根据你的设计生成代码，简化了网页设计的过程，做登陆页的好工具。
  3. Top podcasts：snipd 将其平台上热门播客专为文字版，并做了一个收集分享页面。
  4. 多种草 AI：围绕小红书做的一个工具站。

值得一看

  1. AWS 网络基础知识：深入浅出讲解 AWS 网络服务的知识，包括 VPC，子网，网络访问控制等内容。
  2. Web 音视频入门：关于 Web 音视频处理的一系列入门文章，对于刚接触的开发者可以快速了解脉络。
  3. 技术同学必会的MySQL设计规约：MySQL 最佳实践，可以作为个人日常工作的检查清单。
  4. 100-word-stories：每天一篇 100 字左右的英文小故事。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

资源分享

图片

大模型AGI学习包

图片

图片

资料目录

  1. 成长路线图&学习规划
  2. 配套视频教程
  3. 实战LLM
  4. 人工智能比赛资料
  5. AI人工智能必读书单
  6. 面试题合集

《人工智能\大模型入门学习大礼包》，可以扫描下方二维码免费领取！

1.成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

图片

2.视频教程

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，其中一共有21个章节，每个章节都是当前板块的精华浓缩。

图片

3.LLM

大家最喜欢也是最关心的LLM（大语言模型）

图片

《人工智能\大模型入门学习大礼包》，可以扫描下方二维码免费领取！

模型优化师
关注
  • 20
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM参数高效微调（LORA,QLORA）
qq_43814415的博客
03-24 1530
这个通路包含两个矩阵：( A )实现降维，而( B )完成升维，它们的乘积表达了模型的“本征秩”（intrinsic rank），即更新中保留的核心信息。此外，它也更容易过拟合，尤其是在小数据集上。QLoRA的创新之处在于它显著减少了内存的使用，使得可以在单个48GB的GPU上微调一个有650亿参数的模型，同时保持16比特微调的性能。因此，通过采用参数高效微调技术，如适配器、LoRA或提示微调，可以在保持预训练模型大部分权重不变的情况下，仅对一小部分参数进行微调，从而大大减少计算资源和训练时间的需求。
LLM+赋能研发效能提升
09-07
微调现有的开源模型或采用特定领域的微调模型，可以降低进入门槛，实现更高效的研发流程。 在探索与构建路径的过程中，可以分为Discover、Define和Delivery三个阶段。Discover阶段关注流程工程和“语言”工程，利用...
一文搞懂！如何高效微调你的 LLM
m0_48891301的博客
05-06 690
当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。方法被提出来解决这两个问题，。微调大规模 PLM 所需的资源成本通常高得令人望而却步。在这方面，，同时最先进的 PEFT 技术也能实现了与全量微调相当的性能。
LLM模型微调方法及经验总结
dzysunshine的博客
07-10 5812
在现在这大规模语言模型（LLM）盛行的时代，由于模型参数和显卡配置的因素，预训练基本是大公司或者高校可以完成的事情，而对于小公司或个人，则只能对LLM进行微调，也就是说微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也尽可能实现与全量参数微调相当的性能。本文总结几种主流的微调方法，主要包括Freeze方法、P-tuning方法、Lora方法和Qlora方法。
【LLM大模型】指令微调、peft高效参数微调
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
[NLP]LLM高效微调(PEFT)--LoRA
摩登都市天空---专栏
07-29 1933
在下游任务训练时，固定模型的其他参数，只优化新增的两个矩阵的权重参数，将W跟新增的通路W1两部分的结果加起来作为最终的结果（两边通路的输入跟输出维度是一致的），即h=Wx+BAx。当针对特定任务进行微调后，模型中权重矩阵其实具有很低的本征秩（intrinsic rank），因此，论文的作者认为权重更新的那部分参数矩阵尽管随机投影到较小的子空间，仍然可以有效的学习，可以理解为针对特定的下游任务这些权重矩阵就不要求满秩。关于秩的选择，通常情况下，rank为4，8，16即可。
【LLM】PISSA：一种高效的微调方法
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
06-22 830
介绍PISSA前，先简单过一下LLMs微调经常采用的LoRA（Low-Rank Adaptation）微调的方法，LoRA 假设权重更新的过程中有一个较低的本征秩，对于预训练的权重参数矩阵W0∈Rd×kW0​∈Rd×k，(ddd为上一层输出维度，kkk为下一层输入维度)，使用低秩分解来表示其更新：在训练过程中，W0W_0W0​冻结不更新，AAABBB包含可训练参数。则 LoRA 的前向传递函数为：初始化时，常将低秩矩阵AAA高斯初始化，B。
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
热门推荐
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
LLM大语言模型微调方法和技术汇总
刘文凯的博客
04-13 1840
微调（Fine-tuning）是一种迁移学习的方法，用于在一个预训练模型的基础上，通过在特定任务的数据上进行有监督训练，来适应该任务的要求并提高模型性能。微调利用了预训练模型在大规模通用数据上学习到的语言知识和表示能力，将其迁移到特定任务上。共有四类微调方法增加额外参数，如：Prefix Tuning、Prompt Tuning、Adapter Tuning及其变体。选取一部分参数更新，如：BitFit。引入重参数化，如：LoRA、AdaLoRA、QLoRA。
什么是指令微调（LLM）
yuanlulu的博客
06-28 936
经过大规模数据预训练后的语言模型已经具备较强的模型能力，能够编码丰富的世界知识，但是由于预训练任务形式所限，这些模型更擅长于文本补全，并不适合直接解决具体的任务。指令微调是相对“预训练”来讲的，预训练的时候是使用大量无标注的文本，让模型每次都预测下一个字符的方式来训练。而指令微调也可以叫“监督微调”，也就是对于输入文本有标准答案，用标准答案来训练模型。一般预训练完毕后就要进行指令微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。
【NLP】一文搞懂！如何高效微调你的 LLM
fengdu78的博客
05-19 1447
作者|guolipa整理|NewBeeNLP公众号https://zhuanlan.zhihu.com/p/621700272当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。 参数高效微调方法...
Python_统一100个llm的高效微调.zip
05-24
标题 "Python_统一100个llm的高效微调.zip" 暗示了这个压缩包内容可能涉及使用Python编程语言对100个不同的语言模型（LLMs，Language Models）进行高效的微调。微调是深度学习中的一个关键步骤，特别是对于预训练的...
在您自己的数据上预训练、微调、部署 20+ LLM
04-15
标题中的“在您自己的数据上预训练、微调、部署 20+ LLM”意味着本文将探讨如何利用用户自有的数据集对大型语言模型（LLMs）进行预训练、微调以及部署的过程。LLM，全称为Large Language Models，是能够理解和生成...
大模型微调，使用intel资源微调chatglm
06-25
通过研究这些文件，开发者可以了解如何在实际操作中应用Intel的资源来优化ChatGLM模型，从而构建出更加高效且智能的对话系统。 总结来说，大模型微调是提升预训练模型在特定任务中表现的关键步骤，而利用Intel的...
LLM-Tuning.zip
02-06
1. **TensorFlow** 和 **PyTorch**：这两个深度学习框架都支持LLM的构建和训练，提供了灵活的模型定义和高效的计算能力。它们内置的优化器如Adam、RMSprop等，可以方便地调整学习率、动量等超参数。 2. **Hugging ...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 539
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 487
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
Snu77的博客
07-11 6912
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
Open-TeleVision——通过VR沉浸式感受人形机器人视野的远程操作
最新发布
结构之法 算法之道
07-12 465
这篇论文的链接，我当时快速看了一遍，还是有价值的一个工作(其应该有受humanplus工作的其他)，一直想做下解读来着，无奈过去一周一直在弄mamba2的解读，所以没来得及弄。码器捕捉图像和本体感觉标记的关系，Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人，并将关节位置目标。如下图所示，便是TeleVision的远程操作数据收集和学习设置。7.3日，我司大模型机器人(具身智能)线下营群里的一学员发了《左：我们的远程操作系统。
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning：深度解读一种全新的微调范式， LLM、 AIGC、基于LLM构建领域应用

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值