ms44的专栏

我们可以将相同的原则应用于 APE，但我们首先需要解决的事实是，提示是一种不同类型的超参数，因为它是基于文本的。但是，如果我们有一个永不疲倦的工具，能够生成无数各种风格的提示，同时不断改进它们，那会怎样？不过，在使用 APE 之前，让我们尝试另一种提示，使用一种已被证明对 LLM 非常有效的技术，尽管对原始提示只有很小的改动：思路链 (CoT) 推理。正如我们现在所看到的，设计有效的提示可以显著影响 LLM 的表现，但手动调整和试验的过程可能非常耗时，而且难以扩展。我的意思是，谁会想出这样的提示。

我将保持这篇文章的非技术性，并更多地关注如何使用 Flowise 与代理合作，因此如果您不太懂技术，您仍然应该能够跟着我构建代理。这里的关键是关注使用自然语言构建工作流与以编程方式构建工作流有何不同。但是，您需要下载 GitHub 存储库Flowise来运行我们正在构建的工作流程。总共需要大约 5 分钟才能启动并运行，为此，我们正在使用 OpenAI 的模型，因此您需要一个 API 密钥和至少价值 0.5 美元的代币。您可以选择其他模型。

我们需要一种更准确的方法，幸运的是，我们拥有生成式人工智能的力量（此外，CVS 有一个人工智能治理审查程序来评估和降低风险，我们遵守了必要的流程）。实际上，我们已经可以仅根据产品嵌入进行推荐，其逻辑如下：对于给定产品，我们检索其嵌入，然后在嵌入空间中找到与其具有最高余弦相似度的前 k 个产品。值得注意的是，我们在此阶段提出的建议是通用的，而不是针对个人用户的个性化建议。受 Yan 等人 (2022) 的启发，我们调整了他们的 GNN 框架以适应我们的用例，并融入了我们自己的修改和增强功能。

在 AI 领域，检索增强生成 (RAG) 系统已成为处理简单查询和生成上下文相关响应的常用工具。然而，随着对更复杂的 AI 应用程序的需求不断增长，我们需要超越这些检索功能的系统。AI 代理 — 能够执行复杂、多步骤任务、在交互过程中保持状态并动态适应新信息的自主实体。LangGraph 是LangChain库的强大扩展，旨在通过启用具有循环计算功能的有状态、多参与者应用程序来帮助开发人员构建这些高级 AI 代理。

wp:image如今，银行和金融机构正在经历重大转型，以满足不断变化的客户期望和技术进步。这一转型的一个关键方面是从传统的纸质流程向数字化工作流程的转变。(LLM) 通过提供先进的自然语言处理功能，在推动这一转变方面发挥着关键作用。在这篇综合博客中，我们将探讨无纸化办公的诸多好处，深入探讨 LLM 促进这一转变的具体方式，并讨论领先的 LLM ParrotGPT 如何帮助银行和金融机构全面拥抱数字化。

在这篇论文中，包括 Adly Templeton、Tom Conerly、Jonathan Marcus 等人在内的 Anthropic 团队着手让人工智能模型更加透明。他们专注于中型人工智能模型 Claude 3 Sonnet，旨在扩大规模单义性——本质上确保模型中的每个特征都有明确的单一含义。但是，为什么扩展单义性如此重要？单义性到底是什么？我们很快就会深入探讨这个问题。wp:heading。

大型语言模型 (LLM) 正在迅速成为现代人工智能的基石。然而，目前还没有，而且先驱者往往没有，需要重新发明轮子或陷入困境。在过去的两年中，我帮助组织利用 LLM 来构建创新应用程序。通过这段经历，我开发了一种经过实践检验的方法来创建创新解决方案（由LLM.org.il社区的见解形成），我将在本文中分享。本指南提供了清晰的路线图，帮助您应对 LLM 原生开发的复杂环境。您将学习如何从构思转向实验、评估和产品化，释放您创造突破性应用程序的潜力。（使用 Dall-E3 创建）/wp:image。

一个持续存在的挑战甚至困扰着最优秀的大语言模型：幻觉。这些错误的输出，即人工智能模型产生的虚假或误导性信息，长期以来一直被认为是大型语言模型 (LLM) 的固有缺陷。然而，程序员兼发明家迈克尔·卡尔文·伍德 (Michael Calvin Wood) 的一项革命性发现正在挑战这一假设，并为精准人工智能的新时代铺平了道路——这种人工智能可能会改变我们处理数据和构建人工智能应用程序的方式。/wp:image这项突破具有重大意义……通过消除幻觉，我们可以确保基于我们的流程的人工智能生成的内容准确可靠。

然而，这一预测背后的想法是，一旦人工智能模型变得足够大，人工智能软件中不可预测的部分就会发生变化，从而使人工智能能够解决训练数据中没有的问题。我真心认为，人们之所以相信人工智能涌现特性这一理论，唯一的原因是它的名字极具误导性。人工智能是一个绝妙的品牌宣传，但并不能很好地描述实际的技术。如果它被命名为其他名字，比如基于节点的分析和预测，能够准确描述该技术的作用，我怀疑这种涌现概念是否会被认真对待。然而，许多人工智能模型，尤其是像 ChatGPT 4 这样的 LLM，现在已经足够大，可以测试它们的涌现特性。

准确估计 GPU 内存对于防止瓶颈并确保大型语言模型的平稳运行至关重要，直接影响部署效率、性能、可扩展性和成本。/wp:image正确确定大型语言模型 (LLM) 的硬件大小不仅是技术上的必要，也是确保高效且经济高效部署的基础步骤。LLM 的计算成本很高，并且其内存需求会因多种因素而有很大差异，包括模型大小、精度和部署配置。如果低估了 GPU 内存，您可能会遇到性能瓶颈、内存不足错误，并最终无法成功部署模型。相反，高估 GPU 内存可能会导致不必要的硬件资源支出。

最后，我们终于找到了：加密货币的人工智能用例并非毫无意义或骗局。换句话说，区块链确实将在人工智能经济中发挥重要作用，甚至成为运转良好的社会的基本要求，但方式却并非你所期望的那样。听起来有些夸张，但事实并非如此。来自，甚至等众多机构的明星研究人员也这么认为。而他们试图解决的问题并不是一个小问题，而是当今生成式人工智能带来的最大威胁：不是人工智能是否会杀死我们，而是。

论文提出了一种将结构化权重剪枝与知识蒸馏相结合的技术，以实现模型压缩。结构化剪枝侧重于从模型中移除整个结构（例如神经元、通道），从而在降低计算成本和保持性能之间保持平衡。知识蒸馏用于通过将知识从较大、更准确的教师模型转移到较小的、经过剪枝的学生模型来保持准确性。这是一种创建较小蒸馏模型的有效方法。

Transfusion 是 Meta 团队开发的一种新模型，使用统一模型生成文本和图像。该模型在文本和图像数据的均等混合上进行预训练，应用不同的目标：文本的下一个标记预测和图像的扩散。该模型同时处理这两种模式，将文本转换为向量，将图像表示为补丁序列。因果注意力用于文本，双向注意力用于图像。对于推理，该模型结合了文本和图像生成的技术。]相比，Transfusion 在所有模式下的扩展效果都更佳。

通道最后内存格式是一种 beta 级优化（在撰写本文时），主要涉及视觉模型，支持将四维 (NCHW) 张量存储在内存中，使得通道是最后一个维度。这会导致每个像素的所有数据都存储在一起。此优化主要涉及视觉模型。这种内存格式被认为更“对英特尔平台友好” ，据报道可提高英特尔® 至强® CPU上 ResNet-50 的性能。调整后的训练步骤如下所示：wp:code/wp:code最终的吞吐量为每秒 37.93 个样本 — 与我们的基线实验相比，又提高了 56%，总共提高了 415%。我们做得很好！

今天，我们将探讨语义分块 — 一种显著改善信息检索的技术。如果您一直在关注 AI 的发展，那么您可能对检索增强生成 (RAG) 很熟悉。让我们来看看语义分块如何增强 RAG 系统。/wp:image。

由于 LLM 用于对话设置，聊天记录会快速积累令牌，影响成本效率。总结聊天记录可以保留必要的上下文，同时最大限度地减少令牌的使用。使用经济高效的 LLM 或较小的语言模型 (SLM) 将冗长的聊天提炼为简洁的摘要。在达到令牌限制之前总结聊天历史，特别是在处理多个问答对时，以优化资源使用率。

尽管抱负远大、技术设计扎实、资金充足、团队敬业，但许多个性化项目仍陷入困境。本文探讨了常见原因，并为项目所有者和技术人员提供了前进的道路。

在训练模型中，平衡数据数量和质量的挑战非常重要。大型语言模型 (LLM) 通过生成合成数据提供以数据为中心的解决方案。然而，最近的一项研究表明，该领域的研究缺乏统一的框架，并且仍然很肤浅。本文在合成数据生成的通用工作流程中组织相关研究，强调现有的研究差距并提出未来的研究方向。目标是引导学术界和商业界对 LLM 驱动的合成数据生成能力和应用进行更彻底的研究。以上是 LLM 驱动的合成数据生成、管理和评估的分类。/wp:image。

全面的清单是实施有效的生成式人工智能 (Gen AI) 治理计划的第一步。我们看到很多数据科学或数据保护影响评估 (DPIA) 清单被重新用于通用人工智能治理的案例。虽然相关，但大多数清单仅解决了难题的一部分 — 深入研究该特定方面。新一代人工智能解决方案非常复杂。鉴于此，需要全面了解新一代人工智能解决方案所涉及的所有方面：用例、架构、评估、隐私和风险，以便正确管理企业中的新一代人工智能解决方案。例如，如果不了解底层解决方案架构：检索增强生成 (RAG) 或微调，就无法实施有效的风险管理。

这种多智能体 LLM 框架展示了通过利用 ChatGPT 的广泛知识和开源工具来解决工程问题超越人类模式的潜力。这种方法的准确性和效率依赖于 LLM 对固体力学、流体动力学、多物理理论、材料科学和编码的深刻理解。在大量相关科学文献和编码数据集上训练的更专业、更精细的 LLM 可以产生更准确的结果。调整模型以编写和执行复杂的工程代码和算法至关重要。可以创建其他代理来处理特定子任务，以增强此方法。例如，一个代理可以生成初始几何图形或 CAD 文件，另一个代理可以制作网格，第三个代理可以编写数值算法。

2022 年 10 月，LangChain 成为大型语言模型 (LLM) 应用框架领域的知名参与者。Harrison Chase 在 Robust Intelligence 工作期间开发了 LangChain，其愿景是创建一个框架来简化聊天机器人、文档摘要和代码分析等各种应用程序与 LLM 的交互。由于其开源特性以及 GitHub 上开发人员的积极贡献，该框架迅速在技术社区中获得了关注。

ChatGPT 或当今底层的大型语言模型 (LLM) 能够在给出提示的情况下生成情境化的响应。作为 LLM 发展的下一步，我们希望响应能够根据最终用户的角色、对话历史、当前对话环境和情绪变得越来越个性化。LLM 个性化的主要优势包括：/wp:list在之前的文章 [1] 中，我们撰写了关于设计基于用例的 LLM 评估策略的文章。在某种程度上，当我们谈论应用生成式人工智能 (Gen AI) 来解决当今的特定用例时，我们基本上是在个性化预训练的（基础）LLM，以便它提供针对该用例的特定响应。

检索增强生成 (RAG) 是一种强大的技术，可以提高大型语言模型 (LLM) 生成的答案的准确性和可靠性。它还提供了检查模型在特定生成过程中使用的源的可能性，从而使人类用户更容易进行事实核查。此外，RAG 可以使模型知识保持最新状态并整合特定主题的信息，而无需进行微调。总体而言，RAG 提供了许多好处和很少的缺点，并且其工作流程易于实施。正因为如此，它已成为许多需要最新和/或专业知识的 LLM 用例的首选解决方案。

围绕 ChatGPT 的讨论现已演变为 AutoGPT。虽然 ChatGPT 主要是一个可以生成文本响应的聊天机器人，但 AutoGPT 是一个功能更强大、自主性更强的 AI 代理，可以执行复杂的任务，例如进行销售、计划旅行、预订航班、预订承包商做家务、订购披萨。比尔·盖茨最近设想了一个未来，我们将拥有一个能够处理和响应自然语言并完成许多不同任务的人工智能代理。盖茨以计划旅行为例。wp:quote通常，这需要您自己预订酒店、航班、餐厅等。

将 LLM 原型转变为有弹性的生产级解决方案的蓝图，重新定义可能性。/wp:image。

RAG Foundry 是英特尔的一个开源框架，旨在增强检索增强生成 (RAG) 用例的大型语言模型。RAG Foundry 将数据创建训练推理和评估集成到统一的工作流程中，从而简化了整个流程。这有助于通过数据增强过程开发数据集，从而能够在 RAG 环境中更有效地训练和评估大型语言模型。RAG Foundry 框架概述：数据增强模块将 RAG 交互存储在专用数据集中，然后用于训练、推理和评估。

大多数 LLM 都经过大量数据的训练，可以回答几乎所有主题的问题。然而，模型的所有知识都会被内置到模型中。这种方法有两个问题。模型的知识很快就会过时。该模型只知道它接受过训练的事物。这通常意味着互联网上可用的信息。/wp:list这就是检索增强生成的作用所在。检索增强生成是一种架构模式，用于将 AI 模型与其他现有数据源集成。当您希望模型学习新知识时，无需重新训练模型，而是在向模型提问时用这些新信息对其进行补充。最简单的例子是 ChatGPT 使用互联网了解最近发生的事件。

750 部小说。1000 万行代码。这就是您可以提供给 Magic Dev 的新长期记忆 (LTM) 模型的信息量，该模型打破了所有记录（而且无人能及）。虽然每个人都认为人工智能进步很快，但没有人预料到会出现这样一种模型，它可以将你在一次提示中可以发送的内容量增加到之前最先进水平（Gemini）的 100 倍，可能在一次提示中就可以发送你一生的事实、经历和事件。

从本质上讲，代理工作流是一个由多个 AI 代理协作完成任务并实现目标的系统。这些代理旨在感知环境、处理信息、做出决策并自主采取行动，同时与其他代理和人类用户进行沟通和协调。每个代理和整个系统都由明确的目标驱动，共同努力实现预期结果。Agentic 工作流可以动态地适应不断变化的情况，从过去的经验中学习并随着时间的推移优化性能。通过使用大型语言模型，这些系统可以理解和生成类似人类的文本，实现人与机器之间更直观的交互。不同的专业代理共同协作，共享信息并协调行动，以应对复杂、多步骤的流程。

wp:heading。

例如，如果 RAG 管道每百万个文档的延迟为 1 秒，并且无法实现 10 倍的改进，或者需要跨位置复制数据，则无法扩展。对于经历过 AI 成功的团队和企业来说，毫无疑问，这是一项具有重大收益的突破性技术，并且随着时间的推移会不断改进。假设我们使用三个不同的组件：一个用于嵌入，一个用于矢量数据库，一个用于重新排名，每个组件由不同的团队管理。下面，我总结了一些关键区别，这些区别将拥有成功的 AI 优先产品的团队与仅仅将 AI 添加到现有产品的团队区分开来，后者的收益有限，随后也难以证明 AI 的成本是合理的。

好吧，我们可能已经看到了第一个切实的迹象，表明不仅存在人工智能泡沫，而且它正在开始破裂。然而，尽管如此，英伟达股价在宣布这一消息后下跌了 6%，与英伟达相关的人工智能公司，如 Meta 和亚马逊，也受到了打击。现在，请记住，人工智能的发展收益递减，尽管研发支出不断增加，但仍然停滞不前，而且人工智能公司已经承认下一代人工智能模型目前不可行。我怀疑很多投资者，包括许多机构投资者，在注意到 Nvidia 的销售额增长速度开始不如他们想象的那么快后，认为泡沫很快就会破裂，并在这座纸牌屋倒塌之前套现。

Vision Transformer 由 Alexey Dosovitskiy 等人 (Google Brain) 于 2021 年在论文《一张图片价值 16×16 个字》中提出。当时，Transformers 已被证明是实现 NLP 任务出色性能的关键，并于 2017 年在必读论文《注意力就是你所需要的一切》中提出。2017 年至 2021 年间，曾有多次尝试将注意力机制集成到卷积神经网络 (CNN) 中。然而，这些尝试大多是混合模型（将 CNN 层与注意力层相结合），缺乏可扩展性。

毫不怀疑，在过去的几十年里，没有什么比人工智能更能引起轰动。仔细观察后，我发现很多都只是噪音，只有少数几个很好的突破被大多数人完全忽略了。人工智能炒作周期并不是一个新现象，甚至不仅限于人工智能。我们在很多新兴技术中都看到过这种现象。随着 ChatGPT 的发布，一切都发生了重大变化，人工智能成为每个企业的讨论焦点。但喧嚣并不总是一件好事，很多重要的事情在这种炒作中被忽略了。所以，今天，我们将研究人工智能在技术和商业方面的情况。在本文中，我们主要关注生成式人工智能，因为这是过去一年左右最受炒作的东西。

首先，它有助于定义我们所说的代理。基于 LLM 的代理是将多个处理步骤（包括对 LLM 的调用）串联在一起以实现所需的最终结果的软件系统。代理通常具有一定数量的条件逻辑或决策能力，以及它们可以在步骤之间访问的工作内存。让我们深入了解当今代理的构建方式、现代代理的当前问题以及一些初步解决方案。wp:heading新一代代理建立在以更为严格的方式定义代理可能采取的路径的原则之上，而不是 ReAct 的开放性。

值得注意的是，随着OpenAI等公司在AI领域不断取得突破，业界对AI安全问题的关注度也日益提升，尤其是随着AI技术逐渐向更复杂的推理能力迈进，“Strawberry”和Q*的研发引发了人们对AI伦理和安全问题的广泛讨论。未来，随着更多类似“草莓”的 AI 产品问世，AI 发展的方向将更加多元化，对社会各方面产生更大影响。报道还提到，OpenAI 能否在今年推出“草莓”的聊天机器人版本还存在不确定性，这是原始“草莓”模型的简化版，被称为蒸馏版，旨在保持高性能的同时更易于操作且更具成本效益。

大量小型语言模型（SLM）可作为开源资源随时使用，可通过 HuggingFace 等平台轻松下载和离线推理。或者可以使用 LM Studio、Titan ML、Jan、Ollama 等本地推理解决方案。在深入研究 SLM 和 Orca 的细节之前，重要的是要考虑 SLM 的当前用例。这些模型因几个关键特性而受到关注，包括：自然语言生成、常识推理、对话转向控制、对话上下文管理、自然语言理解和处理非结构化输入数据。

wp:heading软件开发人员的基本技巧随着科技行业的发展（受 Nvidia 的 AI 主导地位、高通的边缘计算领导地位以及英特尔当前面临的挑战推动），开发人员需要更新他们的技能和方法。以下是精简指南：掌握关键技术人工智能和机器学习：学习 TensorFlow、PyTorch 和 CUDA，重点关注 Nvidia 的 H100 GPU 来开发尖端人工智能应用程序。嵌入式系统：了解 ARM 架构和 Qualcomm 的 Snapdragon 平台，实现高效、实时处理。云服务。

生成式人工智能（简称 Gen AI）是一项尖端技术，它使计算机能够生成创造性内容。这些内容涵盖各种形式，例如文本、图像、视频和音频（包括音乐或歌曲），这些内容与人类以前从未见过或创作的内容非常相似。Gen AI 有效地模仿了人类的创造力，并取得了显著的成果，特别是在生成类似人类的文本、对话、图像方面，最近，它的功能扩展到包括视频和音频内容。/wp:image。

让我来总结一下人工智能和就业领域的这段疯狂旅程：人工智能将会变得越来越出色；有一天它可能会取代一些工作。但不要惊慌！有办法赢得这场比赛。推销你的人性：创造力、同理心、解决问题的能力。乐于学习并尝试新的挑战。适应与人工智能合作，而不是与之对抗。机器人是你的朋友，而不是敌人。/wp:list未来尚未书写。归根结底，在这个拥有智能机器人的世界里，你可以决定自己的命运。戴上你的思考帽，卷起袖子，在这场人工智能革命中真正大展身手吧！好吧，到了最后关头，你可能要考虑从事专业的人工智能讲笑话。