pplllaaud-CSDN博客

原创 Llama 3.1：系列模型原理讲解论文(章节6-9)

6 推论我们研究了两种主要技术来提高 Llama 3 405B 模型的推理效率：(1) 管道并行和 (2) FP8 量化。我们已公开发布了 FP8 量化的实现。下载全文PDF（7.4万字）：https://www.aisharenet.com/llama-3yigeduoa/ 6.1 管道并行 (Pipeline Parallelism)当使用 BF16 表示模型参数时，Llama 3 405B 模型无法装入单个配备 8 个 Nvidia H100 GPU 的机器的 GPU 内存。为了解决

2024-07-31 01:32:54 225

原创 Llama 3.1：系列模型原理讲解论文(章节4-5)

4 后续训练 我们通过应用多轮后续训练来生成与齐 Llama 3 模型。这些后续训练基于预训练的检查点，并结合人类反馈进行模型对齐（Ouyang 等人，2022；Rafailov 等人，2024）。每轮后续训练都包括监督微调 (SFT)，之后是直接偏好优化 (DPO; Rafailov 等人，2024)，使用通过人工标注或合成生成的示例进行。我们在第 4.1 节和第 4.2 节分别描述了我们的后续训练建模和数据方法。此外，我们将在第 4.3 节进一步详细介绍定制的数据整理策略，以提高模型的

2024-07-30 23:59:44 179

原创 Llama 3.1：系列模型原理讲解论文(章节1-3)

本文介绍了一系列新的基础模型，称为 Llama 3。Llama 3 是一个语言模型群体，天生支持多语言、代码编写、推理和工具使用。我们最大的模型是一个具有 4050 亿个参数和高达 128,000 个标记的上下文窗口的密集型 Transformer。本文对 Llama 3 进行了一系列广泛的经验评估。结果表明，Llama 3 在许多任务上都能够达到与 GPT-4 等领先语言模型相当的质量。

2024-07-30 22:34:24 197

原创 prompts:“总结”终极提示指令教学

总结即对文档、音频、视频进行快速总结。在聊天工具输入“总结”提示词：原生应用集成：你可能根本不懂如何利用AI总结知识...总结是最常用，且最难的。总结分为概括知识、陈述知识、扩展知识。可根据参考内容总结或根据大模型训练知识自生成。同时请注意需要提取总结的角度和颗粒度（深度）。对总结内容输出格式控制。请注意，提取信息和总结不同，注意提示词的构造。内容角度（同时明确仅信息提取或允许重新构造总结文本）颗粒度输出格式首席AI分享圈建议使用原生应用或浏览器插件。

2024-07-29 05:28:06 750

原创 COT及相关高级提示变种提示词讲解

首席AI分享圈：虽然基础的提示技巧（如零样本/少样本示例或指令式提示）非常高效，但面对一些复杂难题（如数学/编程或需要多步骤逻辑推理的问题）时，更复杂的提示可能更为有效。由于大型语言模型（LLM）在处理这类问题时自然存在困难（其推理能力并不会随着模型规模的增大而单调提升），因此大部分关于提示设计的研究都聚焦于如何提升推理和解决复杂问题的能力上。我们的退货政策是，客户可以在购买商品的 30 天内进行退货。简单的启发式方法可以是问题的长度（例如，60 个 tokens）和理由的步骤数（例如，5 个推理步骤）。

2024-07-27 14:26:43 390

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人