开源大模型LLaMA架构介绍

于 2024-08-20 15:51:11 发布
阅读量480 收藏 4
点赞数 14
分类专栏： 大模型 文章标签： llama 人工智能 大模型 LLM python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43128256/article/details/141360647
版权

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

  1. swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
  2. 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
  3. 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
  4. miniconda+xinference的大模型推理部署指南
  5. Mem0：大模型最强赋能“有记忆的LLM”
  6. 再谈Agent：Dify智能体实现Txet2SQL
  7. Moe模式：或将是最好的大模型应用开发路径
  8. 一文带你了解大模型RAG
  9. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
  10. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
  11. 大模型Prompt trick：利用大模型同情心提升模型性能
  12. 一文带你入门大模型微调
  13. 开源大模型LLaMA架构介绍

文章目录

开源大模型LLaMA架构介绍

抛砖引玉，用最近获取的一些资料，介绍一些羊驼模型的技术点和发展历史。

ChatGPT等商业大模型并不“Open”

• 以ChatGPT为代表的商业大模型不论是在效果上还是用户体验上都具有显著优势
• 然而，由于商业大模型的封闭性，使得整个模型属于“黑盒”，不利于开放透明的技术研究
• 学术界需要开源开放的大模型以供未来的技术探索与研究

LLaMA

Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA)
• 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4T token进行训练
• 虽然最大模型只有65B，但在相关评测任务上的效果可以媲美甚至超过千亿级大模型
• 被认为是近期开源大模型百花齐放的开端之一，
“羊驼”系列模型及其生态快速发展
• 主干模型仍然是传统的transformer decoder结构
• 主要技术：Pre-normalization, SwiGLU activation, Rotary Embedding (RoPE)

模型技术：RMSNorm (Zhang and Sennrich, 2019)

• RMSNorm相比LayerNorm计算更加简单而且更有效，经常被用于大模型训练中
• LLaMA模型中的“norm”均使用了RMSNorm

在这里插入图片描述

模型技术：SwiGLU (Shazeer, 2020)

• 谷歌提出的优化Transformer全连接层的新激活方法，在后续的PaLM等模型中也得到应用
• LLaMA中直接将FFN中的ReLU替换为SwiGLU，并将维度放缩为(2/3) ⋅ 4d

在这里插入图片描述
在这里插入图片描述

模型技术：SwiGLU (Shazeer, 2020)

• 在GLUE、SQuAD上的实验结果表明，SwiGLU、ReGLU相比其他激活函数具有一定性能优势
• 基于Gating的方法普遍优于单纯的激活函数（ReLU/GELU/Swish等）
在这里插入图片描述

模型技术：Rotary Embeddings, RoPE (Su et al., 2021)

• 绝对位置编码

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Llama-2

在这里插入图片描述

Grouped-Query Attention (GQA) (Ainslie et al., 2023)

• GQA是一种提升推理速度的方法，主要针对多头注意力机制进行改进，与KV cache搭配使用

在这里插入图片描述
在这里插入图片描述

中文LLaMA&Alpaca大模型系列

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

写代码的中青年
关注
  • 14
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
开源大模型 Llama 3
科学的N次方
04-19 1287
Llama 3在Meta自制的两个24K GPU集群上进行预训练，使用了超过15T的公开数据，其中5%为非英文数据，涵盖30多种语言。这个训练数据集是前代Llama 2使用的数据量的七倍，包括的代码数量是Llama 2的四倍。Llama 3提供了8B和70B的预训练和指令微调版本，支持广泛的应用。在架构层面，Llama 3选择了标准的仅解码（decoder-only）式Transformer架构，并采用了包含128K token词汇表的分词器。这种架构和分词器的选择有助于模型在处理文本时更加准确和高效。
最强英文开源模型LLaMA架构探秘，从原理到源码
Steve Wang's blog
10-22 3015
LLaMA架构，三个关键点及对应原理，一些实现源码
浅谈宇宙最强开源大模型Llama3如何应用
Trb701012的博客
05-01 1655
Llama系列模型由Meta公司开发，旨在通过大规模的参数和先进的Transformer架构，处理复杂的语言任务。Llama家族图谱2023年2月，Meta发布Llama-1 系列开源大模型，是当时性能非常出色的开源模型之一，有7B、13B、30B和65B四个版本。Llama-2 系列2023年7月，Meta发布了Llama-2系列，有7B、13B、34B和70B四个版本。2023年8月，Meta发布了Code-Llama，共有7B、13B、34B和70B四个版本。Llama-3 系列。
Llama 3 ——开源大模型Llama 3从概念到使用
知来者逆的博客
04-29 2058
Meta公司自豪地宣布推出其最新的开源大型语言模型——Llama 3，这是一款专为未来AI挑战而设计的先进工具。8B版本：优化了在消费级GPU上的部署和开发流程，使得个人开发者和小型团队也能轻松利用其强大的语言处理能力。70B版本：为大规模AI应用量身定制，提供了无与伦比的处理能力和深度学习能力。即将到来的广泛平台支持Llama 3模型预计将在一系列顶尖的云服务平台和AI技术提供商中推出，包括AWS、Databricks、Google Cloud等。
还有人没骑过羊驼？最强开源大语言模型LLaMA解析
python12345_的博客
06-29 967
2024年4月18日，Meta发布了LLaMA-3，在开源大模型领域又一次引发了震动。Open AI虽然凭借GPT、DALL·E和SORA获得了巨大的成功，但这些模型都没有开源，只提供云端服务，Open AI也因此被调侃为Closed AI。而开源对于垂直领域研究和数据安全等方向都起到举足轻重的作用，因此本期借着LLaMA-3的发布，浅析。在计算机领域，任何问题都有解决方法，但要在限定算力，限定时间的情况下解决一个问题是相当困难的。
开源最强大模型Llama3.1发布
2301_82275412的博客
07-25 961
详细介绍Meta于2024年7月23日正式发布了最新的开源大语言模型Llama 3.1，该系列包括8B、70B和405B三个参数版本。Llama 3.1在性能上取得了显著提升，特别是在推理能力、多语言支持以及上下文长度方面。：Llama 3.1的405B版本在150多个基准测试集中表现优异，甚至超越了现有的SOTA模型GPT-4o和Claude 3.5 Sonnet。：具备强大的常识理解、可引导性、数学推理、工具使用和多语言翻译能力。
LLaMA 3.1：开源大模型的新里程碑
2401_84495872的博客
07-25 947
7月23日，Meta公布了它的人工智能模型Llama的最新版本——Llama 3.1。这次更新推出了三种不同的版本，其中包括了Meta迄今为止最高级的人工智能模型。重要的是，Llama 3.1依旧是开源的，这意味着谁都可以免费使用这款模型。这次发布展示了Meta对人工智能领域的深投入，显示出它希望与像OpenAI、Anthropic、谷歌和亚马逊这样的行业领先者竞争的决心。
【大模型】LLaMA-1 模型介绍
2401_85280307的博客
05-29 902
Hoffmann 等人（2022）最近的工作表明了，在给定的计算预算下，最佳性能不是由最大的模型实现的，而是基于更多数据上的训练较小模型实现的。和之前的工作相比，本论文的重点是基于更多 tokens 的训练集，在各种推理预算下，训练出性能最佳的一系列语言模型，称为 LLaMA，参数范围从7B 到 65B 不等，与现有最佳 LLM 相比，其性能是有竞争力的。比如，LLaMA-13B 在大多数基准测试中优于 GPT-3，尽管其尺寸只有GPT-3 的十分之一。
开源大模型之辩：真假开源
热门推荐
软贱开发攻城狮
06-12 1万+
人工智能在近几年的飞速发展，不仅打破了很多传统技术和习惯，也让全球围绕大模型生态迎来了全新的赛道之争。尤其是从去年开始，全球互联网大厂掀起了“百模大战”，大家耳熟能详的互联网大厂如微软、谷歌、百度、阿里等接连下场，经过半年多的发力，这些科技巨头围绕着大模型生态而面临选择开源大模型还是闭源大模型。
主流开源大模型介绍ChatGLM,LLaMA,Baichuan,BLOOM
06-25
### 主流开源大模型介绍：ChatGLM, LLaMA, Baichuan, BLOOM #### LLM主流大模型类别概述 随着人工智能技术的飞速发展，特别是以ChatGPT为代表的生成式AI的出现，引发了全球范围内对于大规模语言模型（LLM）的关注...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
04-07
### 本地部署开源大模型的完整教程：LangChain + Streamlit + Llama #### 一、背景介绍 大型语言模型（LLM）在过去几个月里取得了显著的发展，它们为聊天机器人、个人助手及内容创作等领域带来了激动人心的新机遇...
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
Llama3 是由Meta公司最新发布的一款强大的语言模型，标志着开源AI领域的一个重要里程碑。它在多个方面进行了创新，特别是其独特的网络结构和微调策略。 #### Llama3 的网络结构 - **词汇量大幅增加**：Llama3使用了...
meta 大型语言模型 llama 2
07-21
- **llama-main.zip**：这是Llama 2的核心模型代码，包含模型架构、训练脚本和评估工具等。 - **llama-recipes-main.zip**：这个文件可能包含了一系列使用Llama 2的示例和教程，帮助用户快速上手并进行应用开发。 ...
人工智能开源大型语言模型
09-22
GALLM是一个开源的、支持中英文的双语对话语言模型，基于LLAMA架构。 GALLM 基于 LLAMA 针对中文问答和对话进行了优化。经过约 2T 中文标识符训练，辅以技术监督微调、反馈自助服务和人工反馈强化学习，
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
最新发布
weixin_40777649的博客
08-19 133
一、定义。
【大模型部署及其应用 】使用 Llama 3 开源和 Elastic 构建 RAG
源代码杀手的博客
08-16 121
Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比，它具有良好的评估指标。该模型有两个变体，分别是 80 亿和 700 亿参数。值得注意的是，在撰写这篇博客时，Meta 仍在训练 400B+ 版本的 Llama 3。Meta Llama 3 指导模型性能。
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1756
使用LLaMA-Factory合并微调后的模型权重
【大模型部署及其应用 】RAG检索技术和生成模型的应用程序架构:RAG 使用 Meta AI 的 Llama 3
源代码杀手的博客
08-16 265
自定义知识库：作为 RAG 基础的相关最新信息集合。它可以是数据库、文档集或两者的组合。在这种情况下，它是您提供的 PDF，将用作事实来源来为用户查询提供答案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写代码的中青年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值