详解各种LLM系列｜（5）LLaMA 3模型解析（Meta重磅发布！）

最新推荐文章于 2025-03-25 11:08:55 发布
最新推荐文章于 2025-03-25 11:08:55 发布
阅读量4.5k 收藏 21
点赞数 9
分类专栏： 各种LLM 文章标签： llama 人工智能 语言模型 nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49659123/article/details/138328668
版权

一、引言

Blog链接：https://ai.meta.com/blog/meta-llama-3/

MODEL CARD: https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

体验链接：https://meta.ai/  or  https://huggingface.co/chat/

4月18日，Meta突然发布Llama 3， 在Llama 2的基础上进行了进一步的升级，包括使用更高质量的数据集、模型架构的改进、引入新的信任和安全工具（如Llama Guard 2、Code Shield和CyberSec Eval 2）等；

这次Llama 3 的发布包括了8B 和 70B 两种规模的预训练和指令微调生成文本模型。

Llama 3型号将很快在AWS、Databricks、Google Cloud、huggingFace、Kaggle、IBM WatsonX、微软Azure、NVIDIA NIM和Snowflake上推出，并得到AMD、AWS、戴尔、英特尔、NVIDIA和高通提供的硬件平台的支持

二、卓越的性能

2.1 标准测试

这次的 Llama 在性能上展现了大幅度提升，包括最直接的 8k 上下文（之前是4k），以及可以更好地完成输出任务。

通过pre-training和post-training的改进，Llama 3的预训练和指令微调模型是目前在8B和70B参数尺度上存在的最好的模型（截止至发布日期）。

Post-training的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性；Llama 3在推理、代码生成和指令跟踪等功能上有极大的提升，具体看一下对比数据：

(Llama 3 Pretrained模型)

 

(Llama 3 Instruct模型) 

（这里再附一张 Llama 2 和 3 的对比）

2.2 人类偏好测试

在Llama 3的开发过程中，为了优化实际场景的性能，Meta开发了一个新的高质量的人类评价集。这个评估集包含1800个提示，涵盖了12个关键用例：征求建议、头脑风暴、分类、封闭式问题回答、编码、创造性写作、提取、作为一个角色/角色中、开放式问题回答、推理、重写和总结。

下面的图表显示了模型对这些类别的人类评估的汇总结果：

根据人类评估者的偏好排名，Llama 的 70B 参数模型在实际应用场景中的表现，尤其是在指令跟随方面，相较于其他相当规模的模型表现出了显著的优势。

三、优化之处

3.1 模型架构

3.1.1 Tokenzier

分词器：与Llama 2不同的是，Llama 3将tokenizer由sentencepiece换成tiktoken，词汇量从 的32K增加到 128K，增加了 4 倍 （更大的词汇库能够更高效地编码文本，增加编码效率，可以实现更好的下游性能。不过这也会导致嵌入层的输入和输出矩阵尺寸增大，模型参数量也会增大）。


序列长度：输入上下文长度从 4096（Llama 2）增加到 8192。但相对于GPT-4 的 128K来说还是相当

最低0.47元/天 解锁文章
Meta大佬亲授LLaMA 3的奥秘
herosunly的博客
04-29 20万+
本文主要介绍了Meta大佬亲授LLaMA 3的奥秘，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. Llama 系列模型回顾 3. Llama 3 模型的奥秘 4. Llama 3 的安全性 5. 其他亮点 6. 未来计划
多图详解LLaMA 3的使用方法和进化之路
herosunly的博客
04-21 8万+
LLaMA 3是Meta AI在2024年4月18日发布的最新开源模型家族。其中已发布的是8B和70B的base和instruct版本。未来将会发布400B参数量、多语言、多模态、长上下文等不同的大模型。那么如何使用LLaMA 3呢？简单来说，可分为两种方式：在线使用和本地部署。
llama3 结构详解
08-19 4842
然而，在MHA中，由于每个head都有独立的键和值，内存和计算成本较高，特别是在处理长序列或大批量数据时。我们知道，在《Attention is all you need》一文中，作者为了提高计算效率，提出了MHA技术，思想是采用分而治之的策略，把K、Q、V 对应的切分为若干个短向量，然后使用Scaled Dot-Product Attention 计算出attention score后，再把结果拼接起来，从而避免了超大向量乘法的计算消耗，从而提高了计算效率。的计算中，也没有做减去均值的操作(
本地LLM部署--LM Studio 初探秘
qq_43819568的博客
12-26 1万+
LM Studio提供了一个灵活、强大的平台，支持本地部署和微调LLM，适合对数据隐私要求较高的用户。未来可能增加更多本地化应用，如语音识别、视频分析等，随着硬件加速技术的发展，LM Studio的性能有望进一步提升，未来将支持更多的模型和插件，使得平台的适应性更强。它支持离线运行模型，并提供直观的界面，方便用户进行文本生成、模型微调和文档交互。LM Studio适合有一定技术背景的开发者和企业，特别是在数据隐私、模型微调和离线应用场景中具有独特的优势。
本地运行大模型的工具：LM Studio一文全解析
最新发布
2301_81888214的博客
03-25 1692
本地运行大模型的工具：LM Studio一文全解析
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
LM Studio本地部署大模型，CPU就能玩的本地模型-亲测成功
yinjl123456的博客
01-23 7326
LM Studio 是一款功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。
LM Studio 本地部署DeepSeek及其他AI模型的详细操作教程及硬件要求
任聪聪的博客
01-29 4万+
LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用，通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型，并进行运行。特点：本地、独立、离线官网：https://lmstudio.ai/
Llama3本地部署的解决方案
热门推荐
herosunly的博客
04-23 21万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
LLM - Llama 3 的 Pre/Post Training 阶段 Loss 以及 logits 和 logps 概念
AGI
01-10 1760
Llama 3 是 Meta 公司发布的开源大型语言模型，包括具有 80 亿和 700 亿参数的预训练和指令微调的语言模型，支持广泛的应用场景。在多个行业标准基准测试中展示了最先进的性能，特别是在推理、代码生成和指令遵循方面表现出色，超过了同等规模的商业模型。
LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 3万+
​ LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略 目录 LM Studio的简介 LM Studio的安装和使用方法 LM Studio的案例应用 LM Studio的简介 LM Studio的口号是发现、下载并运行本地 LLMs。LM Studio 是一款桌面应用程序，可在您的计算机上运行本地大型语言模型（LLMs）。 官网：LM Studio - Discover, download, and run local
LM Studio和Ollama的区别
学亮编程手记
02-22 2496
以命令行操作为主，支持类似 Docker 的模型管理（如 ollama run 命令），适合熟悉终端的技术用户。LM Studio 和 Ollama 都是本地运行大型语言模型（LLM）的工具，但两者在功能定位、适用场景和技术特性上有显著差异。提供图形化界面（GUI），内置模型搜索、下载和聊天功能，操作更直观，对非技术人员友好，无需编写代码即可使用。开源工具，社区驱动，支持多平台（macOS、Linux、Windows 预览版）。闭源平台，功能更全面，包括模型训练、评估和部署工具。
LM Studio本地部署DeepSeek初体验
Kalashowke的博客
02-01 4680
最近，DeepSeek在AI圈已经杀疯了，正好最近有时间可以学习了解一下。参考了网络上一些资料，学习了本地部署DeepSeek。网络上的资料大致分为使用Olama或者LM Studio的方式，我这里使用了LMStudio进行部署。
大模型的部署方法二：使用LM Studio部署
star_nwe的博客
07-26 4509
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
本地部署LLM工具大比拼：谁才是你的智能之选？
Python_cocola的博客
12-04 1万+
在人工智能的浪潮中，本地部署 LLM 工具为我们开启了个性化智能交互的新大门。今天，就带大家深入对比几款热门的本地部署 LLM 工具：ollama、Llamafile、jan、LLaMa.cpp、GPT4All、LM Studio，从多个关键角度剖析它们的特点与优势，助你挑选出最契合自身需求的智能伙伴。ollama 的安装便捷性堪称一流。只需一条简单的命令，就能在本地迅速启动开源大型语言模型，无论是 mac 还是 linux 系统，都能轻松驾驭。
训练属于自己的大模型LM Studio使用记录
djl的专栏，blog.djl.cx好记
12-17 1万+
可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案。api使用python调用: https://github.com/openai/openai-python。点击菜单栏倒数第二个图标, 进入api页面;随意设置一个端口号, 启动服务。安装之后打开, 搜索对应大模型, 下载, 举例: baichuan。下载地址: https://lmstudio.ai/点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容。点击左侧菜单栏文件夹图标进行管理。
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
wangjye99的博客
04-27 1万+
另外，也可以选择openai或AnythingLLM，如果选择AnythingLLM，如下图所示，列表了其支持的大语言模型，选择了对应的模型点击“save changes“时，在后台会下载对应的大模型到本地。针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。
LLM大语言模型（一）：ChatGLM3-6B本地部署
hugo_lei的博客
12-03 5506
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
LLaMA3大模型概述
ASS-ASH的博客
06-06 835
目前发布的是早期版本，包括 8B 和 70B 大小两个不同版本。目前发布的LLaMA 3仅支持文本输入和输出，今年晚些会发布405B（也称400B）和多模态版本。Llama 3 8B 在 MMLU、ARC、DROP 和 HumanEval 等 9 个基准测试中，优于具有相似参数数量的其他开源模型，例如 Mistral 的 Mistral 7B 和 Google 的 Gemma 7B。
Llama2+本地RAG构建
02-20
<think>嗯，用户之前问了关于在本地使用DeepSeek模型的方案，现在又问Llama2+本地RAG构建。我需要先理解这两个概念的关系。用户可能是想了解如何结合Llama2和RAG来搭建本地问答系统，作为开源替代方案。 首先，得确认用户对RAG的理解程度。RAG是检索增强生成，结合了检索和生成模型。Llama2是Meta的开源大模型，适合本地部署。用户可能想知道具体的步骤，比如如何准备数据、选择模型、搭建系统。 用户之前得到过关于DeepSeek官方和开源方案的对比，现在转向具体实现的开源方案。需要详细说明Llama2和RAG的结合方法，可能包括技术选型、步骤、代码示例，以及优缺点。 要注意用户可能的技术背景，可能是开发者或研究人员，需要实用指导。需要分步骤讲解，从数据准备到部署，给出代码示例，比如使用Hugging Face的模型和ChromaDB。 还要考虑用户可能遇到的挑战，比如显存不足、检索效果优化、模型微调等，给出注意事项和建议。对比之前的回答，保持结构一致，但更聚焦在Llama2和RAG的结合上。 最后，总结适用场景，帮助用户决定是否选择这个方案。确保语言通俗，避免过多术语，但作为技术方案，适当的技术细节是必要的。可能需要检查是否有遗漏的步骤或潜在问题，比如数据预处理的重要性，或者模型选择的替代方案。</think>以下是关于使用 **Llama2 + 本地RAG** 构建本地问答系统的技术方案详解： --- ### **核心架构原理** ```mermaid graph LR A[用户提问] --> B(文本向量化) B --> C[向量数据库检索] C --> D[构建Prompt] D --> E[Llama2生成回答] E --> F[最终答案] ``` 通过 **检索增强生成（RAG）** 将外部知识库与Llama2结合，突破大模型固有知识限制，实现精准的领域知识问答。 --- ### **技术实现六步曲** #### **1. 知识库准备** - 支持格式：PDF/TXT/Markdown/数据库 - 预处理代码示例： ```python from langchain.document_loaders import DirectoryLoader # 加载本地文档 loader = DirectoryLoader(&#39;./docs&#39;, glob=&#39;**/*.txt&#39;) documents = loader.load() # 文本分割 from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) chunks = text_splitter.split_documents(documents) ``` #### **2. 向量化引擎选择** - 推荐方案： ```python # 中文Embedding模型 from langchain.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") # 英文场景可替换为： # embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2") ``` #### **3. 向量数据库搭建** - ChromaDB本地部署方案： ```python from langchain.vectorstores import Chroma # 持久化存储向量库 vectordb = Chroma.from_documents( documents=chunks, embedding=embeddings, persist_directory="./chroma_db" ) ``` #### **4. Llama2本地部署** - 最低硬件要求： ```markdown - 7B版本：RTX 3090(24GB) *1 - 13B版本：RTX 3090 *2 - 70B版本：需要A100(80GB) *4 ``` - 使用vLLM加速推理： ```python from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b-chat-hf") sampling_params = SamplingParams(temperature=0.5, max_tokens=500) ``` #### **5. RAG流程整合** - 核心处理逻辑： ```python def rag_pipeline(query): # 向量检索 retriever = vectordb.as_retriever(search_kwargs={"k": 3}) docs = retriever.get_relevant_documents(query) # 构建Prompt context = "\n".join([doc.page_content for doc in docs]) prompt = f"""基于以下信息用中文回答： {context} 问题：{query} 答案：""" # 生成回答 outputs = llm.generate(prompt, sampling_params) return outputs[0].text ``` #### **6. 交互接口开发** - 快速构建Web API： ```python from flask import Flask, request app = Flask(__name__) @app.route(&#39;/ask&#39;, methods=[&#39;POST&#39;]) def ask(): question = request.json[&#39;question&#39;] return {&#39;answer&#39;: rag_pipeline(question)} if __name__ == &#39;__main__&#39;: app.run(host=&#39;0.0.0.0&#39;, port=8000) ``` --- ### **性能优化技巧** 1. **混合检索策略** ```python # 结合关键词+向量混合检索 from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(chunks) ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vectordb.as_retriever()], weights=[0.3, 0.7] ) ``` 2. **缓存加速** ```python # 使用磁盘缓存 from langchain.cache import SQLiteCache import langchain langchain.llm_cache = SQLiteCache(database_path=".langchain.db") ``` 3. **量化压缩** ```bash # 使用GGUF量化格式 ./llama.cpp/quantize llama-2-7b.Q4_0.gguf ``` --- ### **方案优势与局限** | 维度 | 优势 | 局限 | |-------------|-------------------------------|-------------------------------| | 知识更新 | 🟢 支持实时更新知识库 | 🔴 需要定期维护向量库 | | 硬件成本 | 🟢 单卡GPU可运行 | 🔴 70B模型需要高端显卡 | | 响应速度 | 🟡 3-5秒级响应 | 🔴 比API方案慢 | | 准确率 | 🟡 依赖检索质量 | 🔴 存在幻觉风险 | -- ### **典型应用场景** 1. 企业知识库问答系统 2. 个人数字文档助手 3. 行业法规智能查询 4. 学术论文研究助手 --- **部署建议**： - 从7B版本开始验证原型，逐步升级模型规模 - 使用LangChain框架可快速集成更多功能模块（如联网搜索、代码解释器等） - 对关键领域知识建议进行Llama2的LoRA微调（需准备标注数据）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值