【综述+LLMs+中文图书】国内团队大语言模型综述（截止2024.02）——A Survey of Large Language Models

置顶 已于 2024-04-16 15:18:40 修改
阅读量2.3k 收藏 24
点赞数 11
分类专栏： 综述与回顾、年度总结、 文章标签： 人工智能 大语言模型 综述 LLMs
于 2024-03-25 18:11:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/imwaters/article/details/137019747
版权
本文详细介绍了大语言模型LLM的发展历程、核心技术，包括预训练方法、模型架构、微调策略以及关键能力如上下文学习、指令跟随和分步推理。文章还探讨了模型的训练与应用，如数据准备、模型规模与性能的关系以及伦理考量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Github主页： https://github.com/RUCAIBox/LLMSurvey
中文-图书: 下载链接1 || 下载链接2 || 官方主页
英文版v13: https://arxiv.org/abs/2303.18223
解析：大语言模型LLM入门看完你就懂了（一） - SmallerFL的文章 - 知乎

中文版图书全书章节组织：

在这里插入图片描述

一、背景与基础知识

第一章 引言（大模型发展历程、重要技术概览）

第二章 基础介绍（Scaling Law、GPT系列模型发展历程）

第三章 大模型资源（开源模型、数据

最低0.47元/天 解锁文章
A Survey of Large Language Models
c_cpp_csharp的专栏
06-15 2994
自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过去的二十年里，语言建模作为一种主要的语言理解和生成方法得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上对Transformer模型进行预训练，提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。
大语言模型综述 —— A Survey Of LLM，Large Language Models
热门推荐
AI天才研究院
05-29 1万+
有趣的是，当参数规模超过一定水平时，这些扩展的语言模型不仅可以实现显著的性能提升，而且还展示了小规模语言模型中不存在的一些特殊能力。最近，学术界和工业界对LLM的研究取得了重大进展，ChatGPT的推出引起了社会的广泛关注。20世纪80年代到90年代，LM的最初阶段基于传统的N-gram模型，并利用基于频率统计的方法进行训练，如Katz回退和Kneser-Ney平滑。语言建模近年来受到了广泛的研究。这些发展阶段中的新模型和算法显著提高了语言建模的准确性和可靠性，并为自然语言处理等众多应用带来了更好的效果。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 6493
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
大模型综述一镜到底（全文八万字） ——《Large Language Models: A Survey》
最新发布
进一步有进一步的欢喜~
02-03 2315
自2022年11月ChatGPT发布以来，大语言模型（LLMs）因其在广泛的自然语言任务上的强大性能而备受关注。正如缩放定律所预测的那样，大语言模型通过在大量文本数据上训练数十亿个模型参数来获得通用语言理解和生成能力。大语言模型的研究领域虽然非常新，但在许多不同方面都在迅速发展。在本文中，我们回顾了一些最杰出的大语言模型，包括三个流行的大语言模型家族（GPT、LLaMA、PaLM），讨论了它们的特点、贡献和局限性。我们还概述了为构建和增强大语言模型而开发的技术。然后，我们调查了为大语言模型训练、微调和评估准
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5398
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
首个中文版大语言模型综述来了！看完直接入门大模型（附PDF）
xxue345678的博客
09-03 991
2023年人大发表的关于大语言模型的综述文章《A Survey of Large Language Models》，一发表便受到了不少读者的关注，一年就已经更新到了第13个版本，包含了83页的正文内容，并且收录了900多篇参考文献。在发布V1版本后的8个月时间内，为了提升该综述的质量，作者在持续更新相关的内容，连续进行了多版的内容修订（版本号目前迭代到V13），中文版目前已经对应更新到了 V10 版本，并将持续更新增加了许多亮点。引言（大模型发展历程、重要技术概览）大模型资源（开源模型、数据、代码库）
【项目实训】大规模模型训练：策略、挑战与最佳实践
xiafan2333的博客
05-31 584
在深度学习领域，大规模模型训练已成为提升模型性能的关键因素之一。随着数据量的增加和计算能力的提升，大型神经网络模型能够捕获更复杂的数据特征，提供更精确的预测。然而，训练这些大模型并非无难度，它涉及到多方面的技术挑战。本文将探讨进行大模型训练的有效策略、面临的主要挑战以及推荐的最佳实践。
项目实训：初学大模型和RAG
m0_63155449的博客
05-30 1132
Coggle 30 Days of ML（24年1/2月）：动手学RAG - 竞赛学习 - Coggle竞赛论坛RAG技术结合了大型语言模型的强大生成能力和检索系统的精确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。步骤：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（四）
weixin_54607024的博客
01-01 1269
发现在保持或提高T5-XL模型在保留数据集上的性能的同时，可以移除60%。此外，一些研究还深入研究了LLMs生成的。
A Survey on Knowledge Distillation of Large Language Models(大语言模型知识蒸馏综述)
qq_46094659的博客
03-20 1820
例如高级上下文跟踪（例如，上下文学习（Huang 等人，2022a）和指令跟踪（Taori 等人，2023））、改进与用户意图的一致性（例如，人类价值观/原则（Cui 等人，2023a），以及思想链（CoT）等思维模式（Mukherjee 等人，2023）），以及 NLP 任务专门化（例如，语义理解（Ding 等人） al., 2023a) 和代码生成 (Chaudhary, 2023))。该调查提出了第 6 节中的未解决问题，确定了知识蒸馏研究中当前的挑战和差距，为未来的工作提供了机会。
从零开始训练大模型
太阳当空照，花儿对我笑，微风轻轻拂，心情无限好。
09-21 4996
我们更倾向于 SFT 的目的只是将 Pretrained Model 中的知识给引导出来的一种手段，而在SFT 数据有限的情况下，我们对模型的「引导能力」就是有限的。这将导致预训练模型中原先「错误」或「有害」的知识没能在 SFT 数据中被纠正，从而出现「有害性」或「幻觉」的问题。为此，一些让模型脱离昂贵标注数据，自我进行迭代的方法被提出，比如：[
教育领域“知之”大模型--山东大学软件学院2024年项目实训（三）
m0_62817302的博客
05-29 868
1.确认评价策略。 2.实验：选择效果最好的大模型。 3.选择：DeepSeek。 # （1）选择基础模型：Llama2，Llama3， deepseek。
教育领域“知之”大模型--山东大学软件学院2024年项目实训（十一）
m0_62817302的博客
06-24 175
我们原本的模型是推理出结果后一起返回给前端的。这样用户的等待时间过长，交互体验极差。因此我们做了大模型的流输出（stream）。 # （5）流输出
【项目实训】基于大模型的小学语数英辅助教育平台 | 基于大模型的中文作文（图像）修改
weixin_64316624的博客
06-24 334
之前已经实现了中英文文本形式输入的作文修改，本节实现用户输入图片类型的作文，给出修改结果。基本的前端展示以及后端对于获取到的数据处理与文本数据基本一致，不同之处在于前端对于用户输入数据的存取和后端请求之间的安排，以及后端对于前端数据的接收方式。
2024软件学院创新项目实训--大模型及微调相关知识
weixin_63647250的博客
05-20 974
该文章总结我对大模型InternLM相关知识的学习，从中我认识了大模型的基本观念，了解到其广泛应用，并对大模型的微调fine-tunning（概念、方法以使用工具）进行了学习，有助于后续工作小组工作的进行。
[项目实训]基于大模型的小学语数英辅助教育平台|前期调研及开题
weixin_64316624的博客
05-31 529
随着人工智能技术的飞速进步，教育领域正在迎来一场革命。AI大模型如GPT-3.5的出现不仅为教育提供了新的发展机遇，也对其提出了挑战。这些技术推动着教育变革，为教育提供了更智能化和个性化的方式。我们提出了一站式辅助教育平台，旨在实现个性化和智能化的教育过程。该平台将整合试卷及作业情况分析等功能为教育提供更加智能化和高效的支持。通过结合AI技术和教育实践，我们致力于为学生和教师创造更优质的学习和教学体验，推动教育领域向前迈进。
【项目实训】基于大模型的小学语数英辅助教育平台 | 调研（2）
qq_64369373的博客
05-30 342
我们的模型需要达到能生成小学数学题库的水准，因此我们需要收集小学数学题相关的数据集来训练微调大模型。最后通过小组讨论筛选，选择ape210k数据集来作为我们的训练数据集。该数据集数量大，能保证正确性并且有相关解析提供，相对收集到的其他数据集来说更能满足我们的要求。阿里云与魔搭搭配，可一键部署模型。
山东大学项目实训（二）：LLM大模型微调学习
m0_74379991的博客
05-09 321
首先，它节省了大量的时间和资源。在未来几周，我计划深入实践，开始在一个简单的现成的具体数据集上进行微调，通过实际操作熟悉整个大模型微调并应用的流程，并为项目后续的开展奠定坚实的基础。数据准备：学习如何准备和预处理适合微调的数据，对于我们做的题目来说，简历的数据集并不好找，所以在数据集的收集和整理上可能要多花一些功夫。在线课程和教程：我浏览了一些关于微调NLP模型的在线教程，这些教程详细介绍了如何准备数据、选择模型和进行微调。在这篇文章中，我将分享我在学习微调大模型相关知识的初期阶段的一些见解和体会。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值