【ReadPapers】A Survey of Large Language Models

已于 2024-03-30 21:00:19 修改
阅读量471 收藏
点赞数 3
分类专栏： # LLM 文章标签： 语言模型 人工智能 自然语言处理 llm survey 论文 评估
于 2024-03-30 18:47:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61819793/article/details/137179791
版权
本文是关于LLM-Survey中对大型语言模型性能和评估方法的学习笔记，通过思维导图形式呈现，并引用了ASurveyofLargeLanguageModels论文的GitHub资源作为参考。
摘要由CSDN通过智能技术生成
自律版光追
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
A Survey of Large Language Models
c_cpp_csharp的专栏
06-15 2640
自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过去的二十年里，语言建模作为一种主要的语言理解和生成方法得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上对Transformer模型进行预训练，提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 8551
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
大模型 LLM 综述, A Survey of Large Language Models
大漠帝国的博客
06-08 2888
一般认为NLP领域的大模型>=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力);经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等;大模型时间线, 图来自，下同。
笔记-《A Survey of Large Language Models》
Working harder, getting stronger!
03-20 341
摘要 1 引言 语言建模的研究可以分为四个主要发展阶段：统计语言模型(SLM)、神经语言模型(NLM）、预训练语言模型(PLM)、大语言模型(LLM) ·统计语言模型(SLM)：基本思想是基于马尔可夫假设建立词预测模型，例如根据最近的上下文预测下一个词。 ·神经语言模型(NLM）：引入了词的分布式表示这一概念，并在聚合上下文特征（即分布式词向量）的条件下构建词预测函数。开创了将语言模型用于表示学习（超越词序列建模)的应用 ·预训练语言模型(PLM)：基于自注意力机制的高度并行化Transformer架
论文阅读 A Survey of Large Language Models 1
赫凯的博客
04-05 1012
讨论了机器语言智能的发展，特别是大规模预训练语言模型（PLMs）。该综述详细介绍了语言模型从统计语言模型，神经语言模型到预训练语言模型（PLMs）的演变。作者强调，大规模LLM超出某一参数大小的模型扩展导致了新的能力的出现。这种现象导致了强大的人工智能聊天机器人的创建，例如ChatGPT，可以解决复杂的任务，展现了与人类极佳的对话能力。该综述强调了评估和了解LLMs的性能的必要性，包括它们的预训练、适应性调整、利用和容量评估。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 1284
LLM综述论文
A Survey of Large Language Models 快速解读 图解（上半部分 想下班了 其他的周一再搞）
weixin_44287798的博客
05-31 1005
LLM主要基于Transformer架构，通过扩展模型规模、数据规模和总计算量，显著提高模型容量。
NLP深入学习：《A Survey of Large Language Models》详细学习（四）
日常学习与专研的记录
02-08 897
本文主要根据《A Survey of Large Language Models》介绍 Adaption of LLMs（LLMs 适应性）章节
论文阅读 A Survey of Large Language Models 2
赫凯的博客
04-05 918
其中，使用LM目标进行预训练似乎可以实现优越的零样本和少样本泛化能力。通过扩展模型大小、数据集大小和总计算量，可以大幅提高随意解码器的性能。由于对编码器-解码器模型的详细调查仍不足，需要更多的研究来分析架构和预训练任务的选择如何影响LLM的能力，特别是对于编码器-解码器架构。除了主要架构外，LLM的详细配置也值得关注。
A Survey of Large Language Models.pdf
06-15
A Survey of Large Language Models.pdf
大语言模型综述中文版《A Survey of Large Language Models》
08-12
该综述文章系统性地梳理了大语言模型的研究进展与核心技术，讨论了大量的相关工作。 本篇综述中，通过介绍大语言模型的背景、主要发现和主流技术来回顾近年来的进展。特别关注大语言模型的四个主要方面，即预训练、...
A Survey of Large Language Model 中文版
01-14
《大语言模型综述》是一篇深入探讨大型语言模型（LLM）的综合文献，它由赵鑫等人撰写，详细阐述了自20世纪50年代图灵测试以来，人类在机器语言智能上的探索，特别是预训练语言模型（PLM）在自然语言处理（NLP）任务...
Instruction Tuning for Large Language Models A Survey.pdf
06-13
近年来，大型语言模型（Large Language Models，简称LLMs）领域取得了显著进展。诸如GPT-3、PaLM和LLaMA等模型在广泛的自然语言处理任务上展现出了令人印象深刻的性能。然而，这些模型通常基于自回归或自编码的预...
A Survey on Language Models for Code
03-11
### 语言模型在代码处理领域的最新进展与挑战 随着预训练Transformer模型的出现，如BERT和GPT等，自然语言处理（NLP）领域取得了显著的进步。这些模型不仅改变了文本处理的方式，也开始向代码处理领域渗透，展示了...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1201
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
机器学习（3）-- 一元线性回归
m0_74896766的博客
08-18 795
本篇介绍了如何实现一元线性回归，其中需要注意的是，对于相关系数过小的数据，我们要进行选择调整。
Spark MLlib 特征工程(上)
08-14 5108
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
吴恩达机器学习-C2W2-Relu(线性整流函数)
最新发布
weixin_50946965的博客
08-18 554
吴恩达机器学习实验室中文翻译-C2W2-Relu
a survey of modern deep learning based object detection models
03-16
现代深度学习基于目标检测模型的调查 目标检测是计算机视觉领域的一个重要问题，它涉及到在图像或视频中检测出特定对象的位置和类别。近年来，深度学习已经成为目标检测的主流方法，因为它可以自动学习特征并在大规模数据集上进行训练。以下是一些现代深度学习基于目标检测模型的调查： 1. Faster R-CNN：这是一种基于区域提议的目标检测模型，它使用卷积神经网络（CNN）来提取特征，并使用区域提议网络（RPN）来生成候选区域。然后，它使用分类器和回归器来预测每个候选区域的类别和位置。 2. YOLO（You Only Look Once）：这是一种基于单个神经网络的目标检测模型，它可以在一次前向传递中同时预测多个对象的类别和位置。它使用卷积神经网络来提取特征，并将其与全连接层结合使用，以生成对象的边界框和类别。 3. SSD（Single Shot MultiBox Detector）：这是一种基于单个神经网络的目标检测模型，它可以在一次前向传递中同时预测多个对象的类别和位置。它使用卷积神经网络来提取特征，并使用多个尺度的卷积层来检测不同大小的对象。 4. RetinaNet：这是一种基于特征金字塔网络（FPN）的目标检测模型，它可以在不同尺度上检测对象。它使用卷积神经网络来提取特征，并使用分类器和回归器来预测每个候选区域的类别和位置。 这些现代深度学习基于目标检测模型都具有高精度和高效性能，它们在许多计算机视觉应用中都得到了广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值