ms44的专栏

Chrome 团队最近宣布将在 Chrome 113 中推出 WebGPU，这标志着 Web 作为高性能图形和数据并行计算平台的发展取得了重大里程碑。WebGPU 是一种新的 Web 图形 API，它公开了现代硬件功能并允许在 GPU 上进行渲染和计算操作，类似于 Direct3D 12、Metal 和 Vulkan。Web LLM 是一个将语言模型聊天直接引入网络浏览器的项目，既能保护隐私，又能提供 GPU 加速。借助 WebGPU，这可以在浏览器内部完成，无需服务器。

随着人工智能越来越受欢迎，有关人工智能的谎言和错误信息也越来越多。市值数万亿美元的公司的首席执行官经常散布虚假信息，而这些虚假信息被记者懒惰地当作事实兜售。这些谎言传遍了各级大众媒体，造成了人们对人工智能的完全扭曲的看法。真是一团糟。在本文中，我将根据自己在多家 AI 相关公司担任首席开发人员、联合创始人和董事的经验提供自己的看法。我们将讨论 AI 中最常被提及的话题之一：AGI，即“通用人工智能”。人工智能很快就会比你聪明吗？剧透：可能不会。

但很快开源就出现了，改变了一切。起初它只是极客们的工具和想法，但后来它证明了自己是一种明智的软件开发方法。云主要在 Linux 上运行，Android 在数字上优于 iOS，而很大一部分网络是基于 WordPress 的。对我来说，开源和知识共享是有意义的。我不想成为唯一一个了解和编辑软件的人。我希望其他人能够看到我的作品，检查它，并在我不再有时间或灵感继续这个项目时接手。开源让成千上万的开发人员得以开始他们的职业生涯。作为一名首席开发人员，这意味着我不必寻找新员工，而是可以从项目内部聘请他们。

通过使用 Remix 的加载器，OpenAI 可确保初始页面加载更快、更流畅，因为所有必需的数据都是预先获取的，并只需一步即可交付。与将完整格式的 HTML 从服务器传输到浏览器的传统服务器渲染设置不同，OpenAI 的方法以客户端渲染为中心。不过，值得注意的是，他们没有使用 Remix 的其他一些功能，例如处理表单提交和服务器端功能的操作。希望我们能从 OpenAI 那里听到更多关于这一转变的消息，但根据我的探索，Remix 显然更适合他们的目标，即通过强大的路由和数据管理实现快速的客户端渲染交互。

不仅如此，随着训练数据集的增长，人工智能训练（人工智能处理上述数据）的成本也会呈指数级增长，因为两倍大的训练数据集将需要大约四倍的能量来训练人工智能。同样，The Information 的一项调查发现，OpenAI 在 AI 培训上花费了超过 70 亿美元，在人员配备上花费了 15 亿美元，而其主要产品 ChatGPT 的日常运营成本超过 70 万美元。因此，即使在他们目前的情况下，凭借仅能偶尔使用的 AI 工具，他们的收入也不足以接近收支平衡。简而言之，人工智能泡沫已经存在，而且很快就会破裂。

wp:image大型语言模型 (LLM) 是一种先进的 AI 系统，它通过使用复杂的神经网络（例如 Transformer）处理大量数据来生成类似人类的文本。它们可以创建内容、翻译语言、回答问题和参与对话，因此在客户服务和数据分析等各个行业中都具有重要价值。自回归 LLM根据前面的单词预测句子中的下一个单词，这使其成为文本生成等任务的理想选择。自动编码 LLM专注于编码和重建文本，擅长情感分析和信息检索等任务。混合大语言模型(LLM)结合了两种方法的优势，为复杂的应用提供了多种解决方案。

wp:image2022 年 11 月 20 日，随着 ChatGPT 的发布，全球关于技术的讨论发生了根本性变化。公众对人工智能的能力和可能性的敬畏之情在发布后立即开始，从博主到新闻媒体，每个人都试图预测这些技术的后果。就像今天互联网上的大多数话题一样，从疫苗安全性到口罩在阻止呼吸道病毒方面的有效性，再到与人相处还是与熊相处更安全，这些讨论迅速将公众舆论分成了两派：一派是“”，他们过去和对人工智能的潜力“赞不绝口”，另一派是“”，他们认为人工智能将成为人类末日衰落的种子。

随着 LLM 的发展，我相信虽然 CoT 仍然简单透明，但管理日益复杂的提示和多推理架构将需要更复杂的工具和对以数据为中心的方法的高度关注。随着基于 LLM 的应用程序变得越来越复杂，它们的底层流程必须在某个地方得到容纳，最好是一个可以处理不断增长的功能和复杂性的弹性平台。CoT 通过将较大的任务分解为较小的、可管理的步骤来模仿人类解决问题的方式，从而使模型能够更精确地关注每个部分。有趣的是，即使推理步骤本身并不完全准确，LLM 仍然可以表现得出奇的好，这表明推理结构的影响力有多大。

正如我过去提到的，由大型语言模型（LLM）驱动的最近成为研究的重点，推动了和等概念的发展。然而，根据Salesforce AI Research 的研究，开源社区在构建专门针对这些任务的模型方面仍然面临重大挑战。一个主要的障碍是缺乏高质量的、特定于代理的数据集，再加上缺乏标准化的协议，这使得开发过程变得复杂。为了弥补这一差距，Salesforce 的研究人员推出了，这是一系列专为 AI 代理任务设计的xLAM 系列包含五种模型，其架构范围从密集到混合专家，参数大小从 10 亿开始。

该聊天机器人允许用户通过 WhatsApp 发送 YouTube 视频 URL，它会返回视频内容的摘要版本。接收 YouTube URL。验证 URL 是否正确。检索视频的记录使用LLM来分析和总结视频内容。将摘要发送回给用户。

神秘的 Strawberry 最终在精选的数据集上与 GPT4 对齐，其中不仅存在问题和解决方案，而且还有解决问题的推理。因此，它是其前身的更好版本，当然是一个有趣的模型，但它也不会取代人类（当我要求它解决编码问题时，它会继续让我感到沮丧）。显然，这个模型就是著名的草莓模型。“从根本上说，这是一种新的模型模式，能够解决真正困难的问题，从而达到类似人类的智能水平。根据我的经验，这种模型速度较慢，而且似乎做了很多不必要的步骤（你看不到推理的中间体，尽管它确实宣布它正在做某事，就好像它是一个老式的加载栏一样）。

最近的研究表明，LLM 对图的理解很少，并且在图推理方面也不出色。因此，该模型在一组任务上进行训练，但随后也会在它从未见过的任务上进行测试，并且只有在图理解训练期间获得才能解决。随着知识图谱和 LLM 之间的这种协同作用越来越紧密，应该在训练数据集中添加更多图数据的比例，从而培养更好的图推理能力。此外，当使用中间步骤训练模型时，可以产生正确的推理（不仅是正确的答案，而且是正确的中间步骤）。据作者介绍，当不提供这些推理步骤时，模型只能获得对图数据的浅显理解，但无法产生正确的推理或对过程的解释。

他们训练了一个二元分类器来区分任务，将不需要检索的标记为“足够”，将需要检索的标记为“不足”。重新打包优化了在重新排序过程发生后向 LLM 呈现信息以供生成的方式，以帮助 LLM 以更好的顺序（而不是理论上的相关顺序）更好地理解所提供的信息。让我们来看看最好的组件以及它们的工作原理，这样您也可以让您的 RAG 系统成为顶级系统，并获得多模态奖励。”，其中充满了 RAG 和微调见解、技巧和实际示例，可帮助您构建和改进基于 LLM 的系统。它是开源的、可靠的，是让您的检索系统顺利运行的绝佳选择。

wp:image在不断发展的人工智能领域，OpenAI 再次凭借其最新产品突破界限：o1 模型和 GPT-4o。作为一名几十年来一直报道科技的人，我见过不少伪装成革命的增量更新。但这个？这不一样。让我们拨开炒作的迷雾，看看这些新模型到底带来了什么。

NaNoWriMo组织者发表声明称他们批准人们在今年的活动中使用生成式人工智能（如 LLM 聊天机器人）后发生的争吵。wp:quote“比如，艺术往往是唯一一个可以克服残疾人身心与世界不相适应的地方，无需依赖健全人的慷慨或被迫亲密。说我们需要人工智能的帮助就是无视这一切。” - Johnathan Flowers 博士，2024 年 9 月 4 日/wp:quote弗劳尔斯博士认为，组织者特别指出这一决定是为了让残疾人和边缘群体有机会参与艺术活动，其实是在低估这些群体的创造力和参与艺术的能力。

作者使用 GPT-4 创建的图像/wp:image。

作者首先比较了不同的模型初始化：文本 LM（仅使用文本训练的模型）、平衡 LLM（使用 50% 文本和 50% 代码训练的模型）、平衡初始化文本 LM（首先是平衡系统，然后是纯文本）和代码初始化文本 LM（使用代码（80% 代码数据和 20% 标记样式代码数据）进行预训练，然后是文本）。最后，我们意识到影响性能的不仅仅是数据的数量，数据的质量也很重要。作者使用高质量的文本数据集（SlimPajama），并清除其中的代码和代码相邻的数据源（例如 StackExchange），以便他们可以决定添加多少代码。

细胞中的蛋白质与数十种不同的伙伴相互作用，这些相互作用会改变它们的功能，当失调时，会导致病理（从癌症到自身免疫性疾病）。(PDB)中的大量蛋白质数据和 AlphaFold 中的 1 亿多条预测结构的训练，已经了解了分子相互结合的无数种方式。给定目标分子的结构和该分子上的一组首选结合位置，AlphaProteo 会生成一个候选蛋白质，该蛋白质在这些位置与目标结合。例如，关节蛋白是在实验室中创建的另一种蛋白质，将其注射到患者体内，以非常精确地阻断导致疾病的蛋白质（例如，用抗体。

结合 VectorRAG 和 GraphRAG 的优势，增强 LLM 获取和利用最新外部信息的能力/wp:image大型语言模型 (LLM) 彻底改变了自然语言处理，但它们往往难以为复杂问题提供准确而全面的答案。主要挑战之一是从外部文档（尤其是非结构化文本）中检索相关信息。这种限制可能导致不准确或不完整的响应。HybridRAG 通过结合 VectorRAG 和 GraphRAG 两种方法的优势来解决这些挑战。这种混合方法增强了信息提取、改进了响应生成，并提供了更准确、更全面的答案。

我们原本热切地等待着 GPT 5 的发布，结果却得到了另一种模型。OpenAI 推出了其新的“”系列，包括 o1 和 o1-mini 模型，旨在提高解决问题的能力。它之所以不是 GPT 5，可能是因为它没有在更大规模的数据上进行训练，而且可能与 GPT 4 和 OpenAI 的其他模型具有不同的架构。因此，在今天的博客中，我们将看到这个新模型的情况，它声称在架构变化的情况下具有更好的推理能力。照片由在/wp:image。

想象一下，你正在尝试教计算机理解世界。嵌入就像一个特殊的翻译器，可以将这些东西转换成数字代码。不过，这种代码并不是随机的，因为相似的单词或项目最终会得到彼此接近的代码。它就像一张地图，具有相似含义的单词聚集在一起。考虑到这一点，更理论化的定义是，嵌入是连续向量空间中编码为向量的对象的密集数值表示，例如推荐系统中的单词、图像或项目。这种转换有助于捕捉对象之间的语义含义和关系。例如，在自然语言处理 (NLP) 中，嵌入将单词转换为向量，其中语义相似的单词在向量空间中紧密排列在一起。图 1 — 什么是嵌入。

GraphRAG是一种结构化的分层 RAG 方法，与依赖纯文本片段或简单文本分块的简单方法形成鲜明对比。该过程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，并在执行基于 RAG 的任务时利用这些结构。wp:heading。

规风险的识别、管理和监控。法律文件还有一个非常具体的结构化检索步骤，该步骤也必须始终在法律文件的上下文中进行，即定义页面，其中每个特定的重要术语都有一个非常具体的变量或固定定义，这些变量或定义可能会根据文档的性质而变化。在此笔记本和示例中，我们想要展示如何轻松创建法律文件中条款的文档层次结构图、法律文件中定义的图表，以及多图多代理递归检索过程，该过程通过智能地浏览文档层次结构图和定义图来回答问题，以获得针对其提出的问题的完整上下文。然后，我们分析文档中的链接，以确定可在词汇图中建模的提取元素之间的连接。

来源：作者使用 Flux 生成 AI 图像/wp:image埃隆·马斯克刚刚宣布，xAI 终于连接了他们的，这是一台拥有 100,000 个安装基数的 NVIDIA H100 GPU 加速计算机。世界上迄今为止最大的人工智能计算机（甚至没有什么接近它）拥有一些人们所能想象的最惊人的数字，并帮助我们想象下一代模型将会有多大。我告诉你，它们非常巨大！

科技是 2024 年的大英帝国。在巅峰时期，大英帝国覆盖了地球陆地面积的约 25%。在 2021 年的巅峰时期，科技正掀起一股令人振奋的经济浪潮，我们决定需要科技干预 100% 的时代精神。剃须刀、植物、姿势等科技。你能想到的，科技的肮脏小手都触及了。在科技领域（部分是现实，部分是应对），我们需要思考，我们正在通过一块块可怜的模拟砖块让世界变得更美好。否则，我们在做什么？如果这些创新不能把原本糟糕的事物变成更容易、更好、更令人愉快的事物，那还有什么意义呢？（而且，作为奖励，还能带来更多利润？为什么不呢。

检索增强生成 (RAG) 是一种自然语言处理框架，它通过将外部数据检索与文本生成相结合来增强大型语言模型 (LLM)。它从外部来源/数据库/自定义来源检索相关信息，以提高响应准确性和相关性，缓解生成内容中的错误信息和过时知识等问题。因此，RAG 基本上通过提供/附加的数据源提供与上下文相关的响应来减少 LLM 幻觉。

随着我们继续将人工智能融入生活的更多方面，像 Reflection 70B 这样的模型让我们看到了未来的景象：我们的数字助理不仅聪明，而且睿智。“Reflection 70B 如何减少 AI 幻觉”、“自我修正 AI 模型的应用”、“为开发人员开源大型语言模型”、“提高 AI 在科学研究中的准确性”、“AI 在法律文件分析中的未来”答：是的，它是开源的，可在 Hugging Face 上下载，或通过 HyperWrite 与 Hyperbolic Labs 的合作伙伴关系通过 API 访问。

我们可以将相同的原则应用于 APE，但我们首先需要解决的事实是，提示是一种不同类型的超参数，因为它是基于文本的。但是，如果我们有一个永不疲倦的工具，能够生成无数各种风格的提示，同时不断改进它们，那会怎样？不过，在使用 APE 之前，让我们尝试另一种提示，使用一种已被证明对 LLM 非常有效的技术，尽管对原始提示只有很小的改动：思路链 (CoT) 推理。正如我们现在所看到的，设计有效的提示可以显著影响 LLM 的表现，但手动调整和试验的过程可能非常耗时，而且难以扩展。我的意思是，谁会想出这样的提示。

我将保持这篇文章的非技术性，并更多地关注如何使用 Flowise 与代理合作，因此如果您不太懂技术，您仍然应该能够跟着我构建代理。这里的关键是关注使用自然语言构建工作流与以编程方式构建工作流有何不同。但是，您需要下载 GitHub 存储库Flowise来运行我们正在构建的工作流程。总共需要大约 5 分钟才能启动并运行，为此，我们正在使用 OpenAI 的模型，因此您需要一个 API 密钥和至少价值 0.5 美元的代币。您可以选择其他模型。

我们需要一种更准确的方法，幸运的是，我们拥有生成式人工智能的力量（此外，CVS 有一个人工智能治理审查程序来评估和降低风险，我们遵守了必要的流程）。实际上，我们已经可以仅根据产品嵌入进行推荐，其逻辑如下：对于给定产品，我们检索其嵌入，然后在嵌入空间中找到与其具有最高余弦相似度的前 k 个产品。值得注意的是，我们在此阶段提出的建议是通用的，而不是针对个人用户的个性化建议。受 Yan 等人 (2022) 的启发，我们调整了他们的 GNN 框架以适应我们的用例，并融入了我们自己的修改和增强功能。

在 AI 领域，检索增强生成 (RAG) 系统已成为处理简单查询和生成上下文相关响应的常用工具。然而，随着对更复杂的 AI 应用程序的需求不断增长，我们需要超越这些检索功能的系统。AI 代理 — 能够执行复杂、多步骤任务、在交互过程中保持状态并动态适应新信息的自主实体。LangGraph 是LangChain库的强大扩展，旨在通过启用具有循环计算功能的有状态、多参与者应用程序来帮助开发人员构建这些高级 AI 代理。

wp:image如今，银行和金融机构正在经历重大转型，以满足不断变化的客户期望和技术进步。这一转型的一个关键方面是从传统的纸质流程向数字化工作流程的转变。(LLM) 通过提供先进的自然语言处理功能，在推动这一转变方面发挥着关键作用。在这篇综合博客中，我们将探讨无纸化办公的诸多好处，深入探讨 LLM 促进这一转变的具体方式，并讨论领先的 LLM ParrotGPT 如何帮助银行和金融机构全面拥抱数字化。

在这篇论文中，包括 Adly Templeton、Tom Conerly、Jonathan Marcus 等人在内的 Anthropic 团队着手让人工智能模型更加透明。他们专注于中型人工智能模型 Claude 3 Sonnet，旨在扩大规模单义性——本质上确保模型中的每个特征都有明确的单一含义。但是，为什么扩展单义性如此重要？单义性到底是什么？我们很快就会深入探讨这个问题。wp:heading。

大型语言模型 (LLM) 正在迅速成为现代人工智能的基石。然而，目前还没有，而且先驱者往往没有，需要重新发明轮子或陷入困境。在过去的两年中，我帮助组织利用 LLM 来构建创新应用程序。通过这段经历，我开发了一种经过实践检验的方法来创建创新解决方案（由LLM.org.il社区的见解形成），我将在本文中分享。本指南提供了清晰的路线图，帮助您应对 LLM 原生开发的复杂环境。您将学习如何从构思转向实验、评估和产品化，释放您创造突破性应用程序的潜力。（使用 Dall-E3 创建）/wp:image。

一个持续存在的挑战甚至困扰着最优秀的大语言模型：幻觉。这些错误的输出，即人工智能模型产生的虚假或误导性信息，长期以来一直被认为是大型语言模型 (LLM) 的固有缺陷。然而，程序员兼发明家迈克尔·卡尔文·伍德 (Michael Calvin Wood) 的一项革命性发现正在挑战这一假设，并为精准人工智能的新时代铺平了道路——这种人工智能可能会改变我们处理数据和构建人工智能应用程序的方式。/wp:image这项突破具有重大意义……通过消除幻觉，我们可以确保基于我们的流程的人工智能生成的内容准确可靠。

然而，这一预测背后的想法是，一旦人工智能模型变得足够大，人工智能软件中不可预测的部分就会发生变化，从而使人工智能能够解决训练数据中没有的问题。我真心认为，人们之所以相信人工智能涌现特性这一理论，唯一的原因是它的名字极具误导性。人工智能是一个绝妙的品牌宣传，但并不能很好地描述实际的技术。如果它被命名为其他名字，比如基于节点的分析和预测，能够准确描述该技术的作用，我怀疑这种涌现概念是否会被认真对待。然而，许多人工智能模型，尤其是像 ChatGPT 4 这样的 LLM，现在已经足够大，可以测试它们的涌现特性。

毋庸置疑，我们终于走到了比特币终局的边缘。但没有人准备好迎接即将到来的一切。多年来，比特币爱好者一直试图向尽可能多的人介绍比特币。它不仅是保住财富的好方法，也是保护自由的好方法。这些比特币爱好者早就预测，总有一天，比特币将引发世界历史上最大的财富转移。那些大量投资比特币的人将获得回报，他们的财富将增长到他们想象不到的程度。而那些一直袖手旁观、不投资比特币的人将感到极度痛苦。问题一直是“比特币何时会成为主流？”和“比特币是否会过度化？