Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms

于 2024-08-09 23:05:03 发布
阅读量378 收藏
点赞数 19
分类专栏： LLM Daily Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/141072640
版权

本文是LLM系列文章，针对《Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies》的翻译。

驾驭大型语言模型：对范式和微调策略的全面回顾和分析

摘要

随着ChatGPT的激增，大型模型的使用显著增加，在整个行业迅速崛起，并席卷互联网。本文对大型模型的微调方法进行了全面的综述。本文研究了任务自适应微调、领域自适应微调、小样本学习、知识蒸馏、多任务学习、参数高效微调和动态微调等方面的最新技术进步和先进方法的应用。

1 引言

2 相关工作

3 Transformer架构

4 LLMs范式

5 任务特定的适应微调

6 小样本学习和元学习

7 知识蒸馏和迁移学习

8 多任务学习

9 参数高效微调

10 指令调整

11 对齐调整

12 代理调整

13 RAG记忆微调

14 实验

15 挑战和未来方向

16 结论

本文概括了微调LLM的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
  • 19
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
清洁代码之道：一份实用关于如何编写和维护干净整洁的好代码的的方法 The Art Of Clean Code...
禅与计算机程序设计艺术
10-21 8893
我们大多数程序员都发现自己处于必须使用杂乱代码的情况，这使得我们很难理解我们正在阅读的各个行的功能。有时，我们会问自己为什么要对变量或调用进行某些更改，但我们害怕干预，因为害怕破坏生产环境中使用的代码。生产代码：在我们的服务器或产品的生产版本上运行的代码，即我们的产品或服务的真实受众在真实环境中使用的代码。此外，我们必须承认，在某些情况下，我们是当今困扰我们的东西的创造者，我们宁愿重新编码也不愿添...
AUTORT 论文翻译: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
机器学习实战
01-27 1010
将语言、视觉以及最近的行为等方面结合的基础模型彻底改变了利用互联网规模的数据来推理有用任务的能力。然而，训练具有实体基础模型的一个关键挑战是缺乏在物理世界中扎根的数据。在本文中，我们提出了AutoRT，这是一个利用现有基础模型扩展操作机器人在完全未见场景中部署的系统，几乎不需要人类监督。AutoRT利用视觉-语言模型（VLMs）进行场景理解和扎根，并进一步利用大型语言模型（LLMs）提出多样化和新颖的指令，供一群机器人执行。
The TCP/IP Guide: A Comprehensive, Illustrated Internet Protocols Reference
maimang1001的专栏
04-02 735
Table of Contents The TCP/IP Guide The TCP/IP Guide: Introduction and "Guide To The Guide" Introduction To The TCP/IP Guide Goals of The TCP/IP Guide Scope of The TCP/IP Guide Structure and Organization of The TCP/IP Guide TCP/IP Guide Features
PHP FTP: A Comprehensive Guide
06-21 735
【代码】PHP FTP: A Comprehensive Guide。
The Delusions of Crowds: Why People Go Mad in Groups
chengbin20101的博客
07-28 484
“The Delusions of Crowds: Why People Go Mad in Groups” by William J. Bernstein explores the phenomenon of mass delusions and how they have historically manifested in various forms, from financial bubbles to religious movements. Bernstein’s book is an explo
深度强化学习综述论文 A Brief Survey of Deep Reinforcement Learning
白水的博客
01-28 6802
A Brief Survey of Deep Reinforcement Learning 深度强化学习的简要概述 作者： Kai Arulkumaran, Marc Peter Deisenroth, Miles Brundage, Anil Anthony Bharath 文章目录摘要 Abstract1. 引言 Introduction2. 奖励驱动行为 Reward-Driven Behavior2.1. 马尔科夫决策过程 Markov Decision Processes2.2. 强化学习的挑
The gift and power of emotional courage-part2
xiaoxinxin2017的博客
08-17 5399
每天一点英语-The gift and power of emotional courage-part2 1.But back home,we struggled–my father hadn’t able to keep his small business going during his illness. And my mother, alone, was grieving the love of her life trying to raise three children, and the cre
How to Succeed in Graduate School: A Guide for Students and Advisors-1
09-28 928
Abstract This paper attempts to raise some issues that are importantfor graduate students to be successful and to get as muchout of the process as possible, and for advisors wh...
‘home‘ has a default child route. When navigating to this named route (:to=“{name: ‘home‘“), the def
weixin_40981660的博客
12-27 265
‘home’ has a default child route. When navigating to this named route (:to="{name: ‘home’"), the default child route will not be rendered. Remove the name from this route and use the name of the default child route for named links instead. vue2项目出现这个提示 删掉n
MQM: a Multi-dimensional QoS Model for Navigating Web Services
02-09
随着Web的发展,可供选择的功能相同或相似的Web服务越来越多,因此有必要为用户提供一种高效的基于服务质量(QoS)的Web服务查询机制.然而现有的Web服务QoS管理模型并不能很好的支持如动态查询等查询需求,其查询性能也...
期权matlab代码-navigating-intrinsic-triangulations-demo:演示代码“导航内在三角剖分”。夏普，索
05-26
预算matlab代码导航本征三角演示 演示代码“导航内在三角剖分”。 夏普，索利曼和克兰。 2019年 ...navigating-intrinsic-triangulations-demo mkdir build && cd build cmake -DCMAKE_BUILD_TYPE=Relea
Practical Packet Analysis: Using Wireshark to Solve Real-World Network Problems
03-31
Whether you're a budding network analyst in need of a headfirst dive into packet analysis or an experienced administrator searching for new tricks, look no further than the third edition of Practical ...
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 480
1.定义2.安装3. 案例。
jupyter下载
Einstein·Jun
08-06 562
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 909
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 672
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
page.content: Unable to retrieve content because the page is navigating and changing the content
06-01
这个错误提示通常出现在使用Web自动化工具（如Selenium）时，当你试图获取正在导航或动态改变内容的页面的内容时。这可能是因为页面上的某些元素正在被加载或更新，或者页面正在被重定向到另一个URL。 为了解决这个问题，你可以使用适当的等待机制，以确保页面完全加载或内容完全更新。你也可以尝试使用其他的Web自动化工具或者API（如BeautifulSoup）来获取页面内容。 如果你需要更具体的帮助，请提供更多关于你的项目和代码的信息，我会尽力帮你解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值