Baihai_IDP的博客

顾名思义，大语言模型（Large Language Models，LLMs）的特点就是庞大，以至于普通的消费级硬件都难以承载。

在这种模式中，物种的形态在长时间的稳定期（equilibrium）之后，会经历短暂的、快速的形态变化（punctuation），这些变化可能伴随着物种的灭绝和新物种的产生。））进行改进的使用场景。但考虑到其中大部分视频并没有实用的音频内容（可能是音乐、静态图片或游戏视频等），实际可用的数据量可能远低于 Llama 3 目前使用的150万亿个词元（tokens） ------ 这还不包括对转录的 YouTube 音频进行去重和根据质量进行筛选的过程，这一步骤很可能会再减少至少一个数量级的数据量。

（译者注：可根据具体情况选择具体的策略。）的方法，通过精心设计的分类器（classifiers），我们能够更精准地判断、选择最佳检索策略（是选择迭代检索（iterative）、一次性检索（single），还是不使用检索方法（no retrieval methods））。说白了，训练的核心在于微调模型参数，确保在每一个步骤 i 中，面对原始的输入 x 、优化后的 query qi 及检索出的文档 di 时，模型 M 能够对模型响应 y 给出最大化的概率预测（highest probability）。

在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。

此处有一个具体的小案例，能够生动地说明 ACI 有多么关键和棘手：我们在 gpt-4-turbo 刚推出不久后，对我们的 AI Agents 进行了多次测试，却发现了一个棘手的问题 —— AI Agents 在处理响应信息时，会完全忽略掉某些数据（正是我们试图通过 tool call 的响应内容来告知或传递给 Agents 的数据部分）。对于正在或计划构建 AI Agents 的开发者和企业而言，这篇文章提供了许多切实可行的操作建议和深入的见解，是一份不可多得的参考指南📄。”，而不会自信满满地认为“哇！

鉴于 CUDA kernels 的工作空间为 device 的内存（device memory），故需向 kernel 提供 device 指针（device pointers）（d_A、d_B 和 d_C），以确保其能在 device 的内存上运行。对于深度学习模型而言，其实质就是一系列涉及矩阵（matrix）与张量（tensor）的运算操作，包括但不限于求和（sum）、乘法（multiplication）、卷积（convolution）以及归一化（normalization ）等。

以个人知识管理（PKM）工具为例，如 Obsidian，这些往往都是专为“老鸟”设计的 “core products” （译者注：如前文所述，仅仅提供核心功能的产品，亦即所谓的“通用产品（generic products）”），这类产品用户热衷于自己动手，通过各种插件（plugins）和集成其他组件、系统（integrations）来个性化满足自己的使用需求。在我看来，最成功的“smart” AI 解决方案，都是那些能够完美融入现有工作流的方案，终端用户无需任何多余操作就能享受 AI 带来的便利。

”这样的问题时，期望的回答自然是“白色（white）”。仅需具备一定的 Python 编程基础，并对神经网络和 Transformer 架构有基本的认识，便能跟随本文的指引，观察 LLaMA 3 如何根据输入生成输出，见证它如何基于输入生成连贯且有意义的文本。—— 如前文所述，LLaMA-3 采用的是 tiktoken 库中的字节对编码（BPE）分词技术，这项技术是在一个包含了 15 万亿个 tokens 的超大数据集上训练得来的，比 LLaMA-2 使用的数据集足足大了7倍之多。

图 1：这些例子表明，低效的检索器（retriever）容易引入大量无关的信息，会阻碍生成器（generators）获取准确的知识，甚至可能将其引入歧途。：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。而对于篇幅较长的文档，则依据其总长度，灵活切分为由数个句子组成的多个更小单元，确保每个小单元都封装一条独立完整的信息。

换言之，模型在训练阶段会学习如何将输入的词（或tokems）转换为向量表征（即嵌入），这一过程是通过优化模型参数完成的，在推理阶段，当新的输入序列传入模型时，模型会直接使用已学习到的参数来产生相应的嵌入向量，而不需要再经历一个单独的、显式的编码步骤。在这种情况下，模型接收到的是一幅部分信息被掩盖的图像，模型需要重建完整图像。无论处理的是文本里的字词（words）或是图像中的像素点（pixels），对输入序列进行编码的核心思想是将其转化为一系列数字，即所谓的向量嵌入（vector embeddings）。

如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的表现差异，以及新一代模型相较前代的进步与不足。

尽管 LLMs 在文本的处理和生成等方面表现出色，但它们却面临一个固有的挑战：难以捕捉信息背景全貌，尤其是在应对冗长对话或涉及多重细节的复杂任务时。当接收到一篇新论文，且其结构与以往处理过的论文类似时，模型便能直接调用缓存中的相关上下文，仅需集中精力分析创新部分的内容（如实验结果和结论）。RAG 系统的搭建与运维，需依托于一套复杂的检索机制，该机制依赖向量搜索（vector search）及嵌入（embeddings）技术，以确保 LLM 能够高效获取最为契合的信息资源。这两种技术各有何优势？

文中全面介绍了多种提示词压缩算法的原理和实现细节，包括基于信息熵的Selective Context、基于软提示调优的AutoCompressor、引入数据蒸馏方法的LLMLingua-2、综合利用问题语义的LongLLMLingua等。作者还贴心地附上了代码示例，以便各位读者可以动手实践，加深对算法的理解。

在当前的边际效益（译者注：边际效益（Marginal Benefit）是一个经济学概念，指的是在增加一单位的某种投入（如生产中的劳动力、原材料或者服务中的员工时间）时，所获得的额外收益或价值的增加。比如，一份最新发表的论文[5]（2024年1月）指出，利用大语言模型改进抓取到的网络数据的表达方式，不仅能优化训练效果，还能提升训练效率。当我们弄清楚如何获取更高质量的多模态数据（包括视频、音频、图像及文本）的技巧，我们可能会惊喜地发现，大语言模型填补其世界观缺失部分所需的训练数据量，远比原先设想的要少得多。

Self-RAG（右）的主要功能为检索（retrieve）、评判（critique）和生成（generate），使生成的文本内容不仅通顺流畅，而且与事实知识相符，并且可以追溯到原始知识源。不过，这种技术需要更复杂的训练流程，并且在内容生成阶段（generation phase） 融入了一些特殊机制，不仅生成目标输出文本，还会生成多种类型的反馈标签，并在生成时根据这些标签执行多个判断操作，这样会。与此同时，Self-RAG 通过特殊的训练流程，使生成的内容不仅通顺自然，与事实知识相符，甚至还可以追溯知识源。

由于这个原因，提示词工程（通过大量的实证试验和反复优化，指导如何为特定任务设计高质量的prompt）变得极其受欢迎和具有影响力，行业目前已经积累了诸多有效的技术手段和优秀的实践方法。本文Netflix 机器学习科学家Cameron R. Wolfe的提示词优化经验分享，阐述了目前提示词的主要构成要素，介绍了与提示词相关的上下文窗口相关信息，并总结了一些行之有效的优化策略，如实事求是，实证为本、先从简单着手、若无必要，尽量简单明了、使用示例等，这些策略应能为在实践中优化提示词提供参考思路。

当一段代码缺乏清晰的结构、正确的模块划分和合理的逻辑顺序，而是充斥着大量的嵌套条件语句、无序的跳转、重复的代码块时，就被视为"意大利面式代码"。这种架构使得我们能够在每次调用时，首先选取需要使用的特定任务提示词，而无需随附沉重的、消耗大量 tokens 的执行指令（execution instructions），从而平均减少了超过 60% 的 tokens 使用量。本文贯穿了一种务实的方法论 ------ 理性看待 LLMs 技术，扬长避短，与其他技术工具形成合力，而非将其视为解决一切问题的"灵丹妙药"。

文中强调，AI Agents 不应仅局限于使用固定提示词指令来定义，还应包含自己的动态上下文配置。通过简明的上下文类型划分，为每个 AI Agent 量身打造不同的上下文配置，将极大拓展其应用潜能。本文所述的动态上下文配置（Dynamic Context）仅是 AI Agents 系统架构的冰山一角，欢迎各位读者就此主题深入交流探讨。

本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。文章指出，在某些场景下使用 LLMs 确实可以加快标注流程、降低成本，但也需要注意 LLMs 存在一些局限性，如对提示词的高度敏感性、不能支持多种人类语言符号，以及难以模拟人类的内在推理逻辑等。因此，我们不能期望 LLMs 完全取代人工标注，特别是在涉及需要主观判断或敏感内容的领域。

生成式 AI 只是人工智能发展的开端，未来可能会出现更先进的 AI 智能体系统（AI Agent），我们应当重视 Andrew Ng（译者注：Andrew Ng 是斯坦福大学计算机科学系和电气工程系的客座教授，曾任斯坦福人工智能实验室主任。作者相信人工智能的未来必将呈现出更智能、更自主的 AI Agent 形态。但是 AI Agent 强调的是综合智能，包括但不限于决策制定、环境交互和跨领域的知识应用，这样的智能系统能够适应更复杂的任务需求，并在与人的交流合作中展现出更强的灵活性和实用性。

本期我们精心为各位读者伙伴呈现一篇详实的搭建技术教程，全面介绍了如何利用函数调用技术构建 Autonomous AI Agents 。作者从函数调用（Function Calling）的工作原理和应用场景出发，通过构建一个旅游服务助手的实例，层层递进地讲解了整个系统的设计思路、技术细节和代码实现。

使用多模态 LLM （如 GPT-4V[14] 、LLaVA[15] 或 FUYU-8b[16]）从图像数据中生成文本摘要，然后将这些文本摘要嵌入向量化，利用这些嵌入向量，可以对图像摘要进行高效检索（retrieve），在检索到的每个图像摘要中，都保留有一个对应的原始图像的引用（reference to the raw image），这属于上文的 (i) 类方法，最后将未经处理的图像数据和文本块传递给多模态 LLM 以便生成答案。首先，使用（a）至（d）中的任何一种方法，将文档中的所有表格解析为图像形式。

有时候我们会遇到一些看似不相关的或矛盾的想法，但通过我们的观察、感知、经验、学习和与他人的交流，我们可以发现这些想法之间可能存在某种联系，或这些想法可能是合理的。我们应该保持开放的思维，不仅仅局限于表面上的直觉，而是观察、感知、经验、学习和与他人的交流，来发现更深层次的意义和联系。17 世纪初，一位名叫埃德蒙·冈特的数学家和天文学家面临了一个前所未有的天文挑战——要计算行星的复杂运动轨迹并预测日食，天文学家不仅需要依靠直觉，还需要掌握复杂的对数运算和三角方程。然而，大语言模型生成的是人类语言。

本文作者深耕人工智能领域多年，洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式：RAG 系统、Conversational AI 系统、Multi-Agent 系统和 CoPilot 系统。作者阐明了这些部署模式的工作原理、模块间的交互方式，并深入探讨了“Agentic”理念、模块化设计的优势等核心概念，为读者构建 Compound AI Systems 提供了宝贵的理论经验。相信通过学习本文，读者们能够对如何构建 Compound AI Systems 有更深入的认

HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。

但是，如果在这些小数据块（small chunks）中找不到完整的信息，递归检索器（recursive retriever）会将相关的大数据块（larger chunks）传递到生成阶段（generation stage）进一步处理，就像我们在书中某个小节或段落查找资料时，如果需要更多信息，就会翻到相关的章节或整本书一样。通过 Semantic chunking（译者注：一种根据文本中的语义信息将文本分成有意义的片段或块的过程） ，希望每个数据块所包含的信息在语义上相对独立，以便更好地进行分析和处理。

在这些情况下，由于提示词工程（prompt engineering）仍然主要是通过不断的试验和调整来进行改进，而非一次性完成的，如何将自己的想法用于改进 Prompt ，并仍保留 Prompt 的通用性（如前文引述内容所说），并不总是一目了然的。我妈可能不太擅长把她对 ChatGPT 输出内容的不满转化为对提示词的进一步改进，但我意识到，无论我们的提示词工程技术如何，我们真正擅长的是表达我们所看到的问题（即抱怨）的能力。（根据我让它写过的成千上万篇文章，我目前的看法是肯定的）而且，

本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG 系统中，提高系统性能。分别是：(1) 使用 Re-ranking 模型直接对检索到的文档和 query 之间的相关性进行评分和排序。作者介绍了一些可用的开源和商业 Re-ranking 模型；(2) 利用大语言模型（LLM）对文档和 query 进行深入理解，通过对相关性程度进行排序来实现 Re-ranking 。文中介绍了 RankGPT 这种基于 LLM 的 Re-ranking 方法。

在人工智能浪潮袭卷全球的大背景下，进一步提升人工智能模型性能，满足更多应用需求已经刻不容缓。如何优化模型延迟和吞吐量，成为了业界亟待解决的重要问题。我们今天为大家带来的这篇文章，其观点为：不同的性能瓶颈需要采取不同的优化策略，识别并解决主要的性能瓶颈是提升模型性能的关键。文章指出，主要有 4 种影响模型性能的瓶颈：计算能力受限、内存带宽受限、通信受限和开销受限。作者分别介绍了针对这 4 种情况可采取的优化措施。另外，文章还全面分析了算术强度和硬件配置等因素对吞吐量的影响。作者提出可通过增加算术强度、

这篇文章系统地分析了 PDF 文档解析中的各种挑战，并给出了一系列解决思路和改进算法，为进一步提高非结构化数据解析的质量贡献了有价值的见解，同时也指出了未来 PDF 文档解析的发展方向。例如，如果用户想了解图 9 中第 2.1 节的大意，只需准确提取出第 2.1 节的标题，并将其与相关内容一起作为上下文发送给 LLM，最终所得到的回复内容的准确性就会大大提高。在这种情况下，建议选择最适合项目需求的方法，根据不同类型的 PDF 文件，采取特定的处理方法。否则，将其视为右列的一部分。该页面如图 3 所示。

自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。我们今天为大家带来的这篇文章指出，Naive RAG 在编制索引、检索和内容生成这三个核心步骤中都存在诸多问题：a) 编制索引时，信息提取不完整、分块策略简单、索引结构未优化、嵌入模型表示能力较弱；b) 检索时，检索到的信息与用户向系统提出的请求相关性不高、召回率低、对不准确的用户请求无法处理、算法

在当今这个由数据主导的时代，我们被海量多样的信息所环绕，但大部分数据都以非结构化的形式存在，诸如文档、电子邮件、合同等，这使得从中提取有价值的信息成为一大挑战。幸运的是，AI 领域正在悄然孕育一场革命性变革，它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。

随着大模型的不断升级和参数量的持续扩大，越来越多人开始重视大模型存在的硬件资源要求高、碳排放量较大等问题。如何在保持模型性能的同时，降低计算成本和资源消耗，成为了业界一个迫切需要解决的问题。我们今天为大家带来的这篇文章，作者认为 Mistral AI 提出的一系列创新技术方案为解决这一问题提供了新思路。

生成式人工智能技术的发展日新月异，这一领域涉及到了越来越多的专业术语和概念。对于刚接触这一领域的新手来说，理解这些术语算是一个门槛。我们有必要整理和解释这些术语，帮助更多人快速入门，投身 AI 事业。文章首先将这些生成式 AI 术语分为11大类，包括Types of Models、Common LLM Terms、LLM Lifecycle Stages等。然后对每一类术语进行了详细的解释和举例说明。这篇文章系统全面地总结了当前生成式人工智能领域的主流术语和概念，涵盖了理论、架构、评估、优化等多个方

本文主要内容如下：(1) KV缓存随序列长度线性增长，容易超过模型本身的规模，严重制约最大序列长度； (2) 减小KV缓存对GPU内存的占用，是优化推理速度和吞吐量的关键； (3) MQA、GQA等新型注意力机制、FastGen等缓存压缩策略，以及PagedAttention等内存管理机制，都是能够有效缓解 KV 缓存内存占用压力的技术手段。

假设有一批输入序列（input sequences），数量为 b 个，每个序列由 N 个生成的 tokens 和 t 个输入的 tokens （总长度为N+t）组成，对于这些序列的前 t+N-1 个 tokens，计算 KV 值是冗余的，也就是说，在生成步骤的第 N 步，我们可以为每个序列节省 t+N-1 次 KV 计算。由于在注意力计算中使用了 masking 技术，在每一步生成步骤中，实际上都可以不用重新计算过去 tokens 的键向量和值向量，只需计算最后生成的 token 的键向量和值向量。

近期，OpenAI 发布通用视觉大模型 Sora ，这也是继文本模型ChatGPT和图片模型Dall-E之后，又一极具颠覆性的大模型产品，人们重新思考了生成式 AI 在视觉内容创作领域的应用前景，内容创作工作流有望被颠覆。我们今天要为大家分享的这篇博文，作者认为 Sora 代表了Transformer、NaViT、扩散模型等一系列视觉AI技术的融合创新，是迈向通用人工智能的重要一步。

本文解析的重点即是 Sora 背后的核心技术 Spacetime Patches，作者认为该技术通过创新的时空数据建模方法，让 Sora 学会预测时空维度上事件和对象的变化、运动和互动，从而建立起视频世界的物理模型，生成极其逼真的视频。

随着大语言模型技术的快速发展，模型融合成为一种低成本但高性能的模型构建新途径。本文作者 Maxime Labonne 利用 mergekit 库探索了四种模型融合方法：SLERP、TIES、DARE和passthrough。通过配置示例和案例分析，作者详细阐释了这些算法的原理及实践操作。作者的核心观点是：相比训练全新模型，融合现有模型可以以更低计算成本获取类似或更优异的效果。

他们承认 prompt engineering 可以用来最大限度地提高通用模型在特定任务中的性能，并指出微调 GPT-3 与 prompt engineering 进行比较并不十分科学，因此在 prompting 和微调之间还没有进行过很多比较。此外，David在谈话中提到，prompt engineering 比全参数微调更不稳健，更容易受到提示语注入攻击（prompt injection hacks）的影响。