A Survey on LoRA of Large Language Models

最新推荐文章于 2024-11-04 22:31:49 发布
最新推荐文章于 2024-11-04 22:31:49 发布
阅读量353 收藏
点赞数 12
分类专栏： Survey Paper LLM Daily LLM LoRA 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142612075
版权
LLM Daily 同时被 3 个专栏收录
791 篇文章 8 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
Survey Paper
227 篇文章 7 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM LoRA
16 篇文章 0 订阅
订阅专栏

本文是LLM系列文章，针对《A Survey on LoRA of Large Language Models》的翻译。

大型语言模型的LoRA研究综述

摘要

低秩自适应（LoRA）是一种性能最佳的参数高效微调范式，它使用可插拔的低秩矩阵更新密集的神经网络层。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA最近受到了广泛关注，相关文献的数量呈指数级增长。有必要对LoRA的当前进展进行全面概述。本次调查从以下角度对进展进行了分类和回顾：（1）改善LoRA在下游任务中表现的下游适应改进变体；（2） 混合多个LoRA插件以实现跨任务泛化的跨任务泛化方法；（3） 提高LoRA计算效率的效率改进方法；（4） 在联邦学习中使用LoRA的数据隐私保护方法；（5） 应用程序。此外，本次调查还讨论了该领域的未来发展方向。最后，我们提供了一个Github页面，供读者查看更新并就这篇调查论文展开讨论。

1 引言

2 低秩自适应 （LoRA）

3 下游自适应改进

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
A Survey of Large Language Models
c_cpp_csharp的专栏
06-15 2762
自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过去的二十年里，语言建模作为一种主要的语言理解和生成方法得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上对Transformer模型进行预训练，提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。
浙大发表的大语言模型LoRA的综述
m0_59235699的博客
07-26 950
论文标题：A Survey on LoRA of Large Language Models论文链接：https://arxiv.org/pdf/2407.11046低秩适应（Low-Rank Adaptation, LoRA）通过更新密集神经网络层的可插拔低秩矩阵，是表现最佳的参数高效微调范式之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA近期备受关注，相关文献数量呈指数级增长。有必要对LoRA的当前进展进行全面综述。
A Survey on LoRA of Large Language Models翻译
nopSled
07-28 93
预训练语言模型参数规模的快速增加提高了其泛化能力并带来了涌现能力。在过去的几年中，预训练语言模型的参数规模增加了数千倍（例如，从330M参数的BERT到540B参数的PaLM）。这些具有大参数规模的预训练语言模型被称为大语言模型（LLM）。然而，由于LLM的知识边界，它们在某些下游任务上的能力仍然有限。为了扩展知识边界，仍然有必要在下游任务上对LLM进行微调。
A Survey on LoRA of Large Language Models阅读笔记
mashutian的博客
08-08 952
具体我就不展开了，看个图。最近忙着用Midjourney做图，太久没有看文章了，今天赶紧再来读一篇，是关于Lora有关模型的文献综述，已经看到有公众号写了这篇文章的解说，扫了一眼发现还是得自己好好看一遍原文撒，顺便也为了做一下讲解视频。关于秩，这里非常随便得举个🌰，x+y+z=4和2x+2y+2z=8和2x-y+3z=11，三个方程，前俩是一个意思，如果将方程组用矩阵描述，秩就表示了多少个方程是有用的，那这个🌰中的矩阵的秩就是2。首先，图上的蓝色大方块，就是咱们的大语言模型，训练完了的那一大堆参数。
NLP深入学习：《A Survey of Large Language Models》详细学习（二）
日常学习与专研的记录
02-06 1127
本文主要讲解 LLMs 相关资源，包含公开模型、API、预训练的数据集以及微调的数据集。
A Survey of Large Language Models大模型综述论文章节总结
weixin_45320238的博客
10-17 910
这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。
多模态系列-综述Video Understanding with Large Language Models: A Survey
lansebingxuan的专栏
04-03 1327
随着在线视频平台的蓬勃发展和视频内容量的急剧增长，对高效视频理解工具的需求显著增强。鉴于大型语言模型（LLMs）在语言和多模态任务中展现出的强大功能，本综述详细梳理了利用LLMs进行视频理解领域研究的最新进展，特别是在视频理解大型语言模型（Vid-LLMs）方面的突破。Vid-LLMs展现出的新兴能力极为先进，特别是其结合常识知识进行开放性时空推理的能力，预示着未来视频理解的一个极具潜力的发展路径。
[论文解读]CPLLM：使用大型语言模型进行临床预测CPLLM: Clinical Prediction with Large Language Models 数据集eICU、MIMIC 3等EHR数
人工智能曾小健
03-17 1567
我们提出了使用大语言模型进行临床预测（CPLLM），这是一种对预先训练的大语言模型（大语言模型）进行微调以进行临床疾病预测的方法。我们利用量化并根据提示对大语言模型进行微调，其任务是利用患者的历史诊断记录来预测患者在下次就诊或随后的诊断中是否会被诊断出目标疾病。我们将我们的结果与各种基线进行了比较，包括Logistic 回归、RETAIN 和 Med-BERT，这是使用结构化 EHR 数据进行疾病预测的当前最先进的模型。
The What, Why, and How of Context Length Extension Techniques in Large Language Models
c_cpp_csharp的专栏
03-02 585
大型语言模型（LLM）的出现代表了自然语言处理（NLP）的一个显著突破，有助于在文本理解和生成方面取得实质性进展。然而，在这些进步中，值得注意的是，LLM在上下文长度外推方面经常面临限制。理解和扩展LLM的上下文长度对于提高其在各种NLP应用程序中的性能至关重要。在这篇调查论文中，我们深入探讨了为什么它是必不可少的多方面问题，以及高级技术可能给NLP应用带来的潜在转变。我们研究了与延长上下文长度相关的固有挑战，并对研究人员使用的现有策略进行了有组织的概述。
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 853
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 1402
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
vickynesss的博客
11-01 486
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 2066
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
如何在 AI 时代打造你的核心竞争力？
玉树芝兰
11-01 503
（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费）焦虑在《AI 研究已摘得诺奖桂冠，普通科研工作者将何去何从？》一文中我谈过自己对目前 AI 技术浪潮对大众影响的体会——未来已来，只是分布不均。很多人在还没有意识到 AI 带来的变革潜能时，觉得与自己无关，日子该怎么过怎么过，倒也轻松。而一旦突然意识到 AI 的重要性，就会变得焦虑万分。这种焦虑，就是挣扎与思考在外...
【自然语言处理与大模型】大模型（LLM）基础知识②
最新发布
qq_39780701的博客
11-04 553
（1）LLaMA输入句子的长度理论上可以无限长吗？（2） 什么情况用Bert模型，什么情况用LLaMA和ChatGLM这类大模型？怎么选？（3）各个专业领域是否需要各自的大模型来服务？（4）如何让大模型处理更长的文本？（5）如果想要在某个模型基础上做全参数微调，需要多少显存？（6）为什么SFT之后觉得大模型LLM变傻了？（7）微调和指令微调的区别？（8）SFT指令微调数据如何构建？（9）领域模型Continue PreTrain数据如何选取？（10）领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘
AI产品经理实战手册：策略、开发与商业化指南
清图出版
10-31 621
通过《AI产品经理手册》，将可以了解不同类型的AI，如何将AI整合到产品或业务中，以及支持创建AI产品或将AI集成到现有产品所需的基础设施。熟悉实践管理AI产品开发流程、评估和优化AI模型，以及应对与AI产品相关的复杂伦理和法律问题等相关知识。通过案例研究和学习，在快速发展的AI和机器学习领域保持领先地位。通过阅读本书，读者将能够从产品角度全面了解AI领域。
AI代币是什么？AI与Web3结合的未来方向在哪里？
BlockOne11的博客
10-30 1256
近两年随着人工智能的崛起，AI已经渗透到制造业、电商、广告、医药等各个行业，加密货币领域也不例外，人工智能与区块链的融合，让我们看到了独特的数字资产 — AI加密代币。它的流行始于2022年底，随着OpenAI智能聊天机器人ChatGPT的火爆，许多人意识到，人工智能不再只是出现在电影里面，更多的应用已经照进现实，AI已经作为一种高效的生产力应用到实际的产业中。人工智能狂热也影响了机构巨头。例如，谷歌宣布将着手开发自己的人工智能聊天机器人 Bard。
AIGCDesign——开放式跨端AI组件解决方案
银行信息系统应用架构导论
10-31 79
组件库内置AI聊天全流程的交互，通过少量入参可实现基础功能的产出，也可以结合生命周期事件和相关属性进行定制化配置。......结合生命周期事件和相关属性配置，可自定义以下功能：大模型请求：调用方可自行进行大模型接口请求，并将会话数据注入容器，容器根据注入的数据进行会话区域渲染。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值