LLM-20230225：LLaMA（大羊驼）【参数量： 70 亿、130 亿、330 亿、650 亿】【旨在推动 LLM 领域的小型化、平民化研究】【Meta】

已于 2023-08-09 00:05:30 修改
阅读量1.8k 收藏
点赞数
分类专栏： # LLM/经典模型 文章标签： 深度学习 人工智能 自然语言处理
于 2023-03-09 14:48:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/129422024
版权
Meta AI 发布了LLaMA，一个包括70亿、130亿、330亿、650亿参数的开源语言模型，旨在推动LLM的小型化和平民化研究。LLaMA在某些测试中超越了GPT-3，且只需8GB显存即可运行。模型基于Transformer架构并采用RMSNorm、SwiGLU激活和RoPE改进。训练数据包括多种语言，主要来自网络内容。尽管存在偏见问题，LLaMA在多项任务上展现出优秀性能，且Meta计划发布更大规模的模型。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-2022：OPT【参数量：1750亿（175B）】【用于训练的token数量：180B】【MetaAI】
u013250861的博客
02-24 1070
该公司将根据来自研究、产业、政府和民间组织的选定合作伙伴的需求，制作具有 1750 亿个参数的最大的 OPT 模型，它们应该能够分析语言处理中神经网络的权重和连接。Meta的AI部门发布了一个经过广泛训练的语言模型来推进人工智能研究，特别是针对语言 AI​​本身弱点的研究。“我们认为，整个人工智能社区——学术研究人员、民间团体、政策制定者和行业——需要共同努力，为负责任的人工智能，特别是负责任的大型模型，制定明确的指导方针，因为它们是许多下游语言应用程序的核心。”Meta的研究团队写道。
LLM-2022：BLOOM【参数量：1760亿（176B）】【用于训练的token数量：341B】
u013250861的博客
02-24 900
这是来自70多个国家和250多个机构的1000多名研究人员一年工作的成果，最终在法国巴黎南部的Jean Zay超级计算机上训练了117天(3月11日至7月6日)的BLOOM模型，这要归功于法国国家科学研究中心(CNRS)和法国科学研究中心(CNRS)估计价值300万欧元的计算拨款。今天，我们发布了BLOOM，第一个在完全透明的情况下训练的多语言LLM，以改变这一现状——这是有史以来最大的人工智能研究人员合作的结果。但是，最重要的是，所有这些人工智能模型都源于私营科技公司的巨大资源，这是共同的因素。
详解-大模型推理（Llama3）相关参数和显存计算！
最新发布
2401_85375186的博客
08-10 2140
LLM 推理任务需要大量的算力，将现代 GPU 推向极限。过去两年， LLM 训练和推理优化相关的研究进展速度惊人，每六个月就会出现新的突破。今天的分享主要，为大家介绍LLM 推理领域所必备的一些基本数学与概念，这包含了Llama3的以及，对于张量、矩阵等基本数学原理本文不会赘述。我们先来看看标准的架构。左图来自于大模型技术的起源之作《Attention is all you need》，这是一个标准的transformer结构，由左侧的和右侧的两部分构成。
大模型笔记！以LLAMA为例，快速入门LLM的推理过程
Everly_的博客
08-02 974
llama是LLM（LLM指大语言模型）模型的一种结构，llama这种模型的任务就是在阅读前n个单词后预测句子中下一个单词，输出取决于过去和现在输入，与未来无关。过程大概是这样，每次输入模型会带上上一次输出的结果（不同于CV模型，CV模型输入只需要一次即可，一次推理即可得到结果）：LLM-生成一般来说，LLM模型主要由两个块组成：编码器（左侧）：编码器接收输入并构建其表示形式（特征）。这意味着该模型被优化为从输入中获取理解（比如输入文本判断这段话是高兴还是难受）。
序列模型（3）—— LLM的参数量和计算量
佚失的诗篇
01-07 4083
本文说明重要结论：设模型参数量为 N，训练数据量（Token）为 D，LLM训练中计算量（FLOPs）C ≈ 6ND
[NLP]LLM--transformer模型的参数量
摩登都市天空---专栏
08-22 2414
最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model, LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，GPT3的参数量为1750亿，训练数据量达到了570GB。进而，训练大规模语言模型面临两个主要挑战：显存效率和计算效率。
LLM 参数量和内存占用计算
major_in_data_的博客
02-15 845
此外，训练时占内存的还有梯度（和模型参数本身大小一样），优化器（如使用adam，是模型本身大小*2，因为要计算动量和方差）7b = 7billion = 7*10^9 个参数（1billion就是10亿就是9个0）fp32精度，一个参数4byte，1G=10^9 byte, 所以 7b就占7*4GB。int8精度，一个参数1byte， 7b就占7*1GB。fp16精度，一个参数2byte， 7b就占7*2GB。
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
LLM-2022：PaLM【参数量：5400亿（540B）；训练集token数量：780B】【①SwiGLU激活函数、②RoPE/旋转位置编码】【基于Pathways的大语言模型】
u013250861的博客
12-30 1425
大型语言模型已被证明在各种自然语言任务中使用few-shot学习取得了显著的性能，这极大地减少了使模型适应特定应用所需的特定任务训练实例的数量。为了进一步了解规模对few-shot学习的影响，我们训练了一个5400亿参数、密集激活的Transformer语言模型，我们称之为Pathways语言模型（PaLM）。我们使用Pathways在6144个TPU v4芯片上训练PaLM，这是一个新的ML系统，能够在多个TPU Pods上进行高效的训练。
MiniCPM-2B:端侧LLM优于Llama2-13B
02-06
近年来，随着技术的发展，LLMs的规模越来越大，例如Llama2-13B就是一个拥有130亿参数的大型模型。然而，这并不意味着更大的模型就一定更优。最近的研究表明，MiniCPM-2B，一个仅拥有20亿参数的端侧LLM，在某些特定...
LLM各层参数详细分析（以LLaMA为例）
qq_44345567的博客
09-21 4394
网上大多分析LLM参数的文章都比较粗粒度，对于LLM的精确部署不太友好，在这里记录一下分析LLM参数的过程。multiattention layer过后，经过加法和norm（RMS norm），进入。后，大小为(4096, 4096)，除法scale+softmax后不变，然后。经过Cancat，分开的头又合并，大小变为(4096, 4096)方阵，经过。，大小恢复变为(4096, 128)。也就是说，当h（heads） = 1时，在默认情况下，全连接，还是(4096, 4096)方阵。
大型语言模型（LLM）参数量计算指南
chen的博客
05-24 1418
了解LLM的参数量对于评估模型的计算需求和可能的性能至关重要。随着模型规模的增长，合理设计和优化模型参数是实现高效深度学习的关键。
2024-05-22 问AI: 介绍一下大语言模型LLM的常用参数
baidu_24377669的博客
05-22 1212
而一些轻量级的模型，如谷歌的PaLM和DeepMind的Chinchilla，虽然参数数量较GPT-3少，但通过优化模型结构和训练方法，它们在某些任务上也能达到类似的性能。例如，OpenAI的GPT-3模型在2020年发布时，其参数量达到了惊人的1750亿，而在之后的模型中，如GPT-4，其参数量可能进一步增加。然而，更多的参数也意味着更高的计算成本和训练难度。总结来说，大语言模型的常用参数规模随着技术进步而不断增加，目前已经有多种规模的模型被开发和应用，不同的参数规模对应着不同的性能和计算资源需求。
大模型高效微调详解-从Adpter、PrefixTuning到LoRA
SHIDACSDN的博客
05-06 539
一、背景 目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应(迁移学习)的目的。 指令微调是预训练语言模型微调的主流范式 其目的是尽量让下游任务的形式尽量接近预训练任务，从而减少下游任务和预训练任务之间的Gap, 实现预训练语言模型适应下游任务，而非下游任务去适应模型。 指令微调的效果要优于基于Zero/Few-shot的提示词工程的上...
LLM：参数有效性学习——LoRA模型
皮皮blog
05-31 2151
随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。为解决微调大规模语言模型到不同领域和任务的挑战，已有多种方案，比如部分微调、使用adapters和prompting。
最强开源大模型Llama 3发布！最大版本是4000亿参数规模！性能直逼GPT-4！
u012744245的博客
04-19 1648
当地时间4月18日，Meta 官宣发布其最新开源大模型 Llama 3。目前，Llama 3 已经开放了 80亿 和 700亿 两个小参数版本，上下文窗口为8K。未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！
AI初识--LLM、ollama、llama都是些个啥？
weixin_66196770的博客
06-07 4664
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。library因此，Ollama与LlamaLlama是大语言模型，而Ollama是大语言模型（不限于Llama模型）便捷的管理和运维工具。
详解各种LLM系列｜（1）LLaMA 1 模型架构、预训练、部署优化特点总结
weixin_49659123的博客
11-28 1215
整理了LLaMA 1 模型架构、预训练、部署优化特点
llm-medical-data：大模型微调训练专用医疗数据集
资源摘要信息: "llm-medical-data用于大模型微调训练的医疗数据集_llm-medical-data.zip" 该压缩文件包含了一个名为“llm-medical-data-main”的文件夹，这个文件夹内存储的是一个专门为大模型微调训练设计的医疗...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值