人工智能炒作令人筋疲力尽，以下是对您的组织很重要的四件事

要知道去哪里寻求建议并不容易。每家大型科技公司都在以极快的速度推出产品和平台，初创公司也像灯笼飞蛾一样激增。在神经网络中，唯一比参数增长得更快的是，承诺打破混乱，提供当天“基本”人工智能新闻的时事通讯数量。让我们不要从一年前专门提供 NFT 建议的社交媒体大师开始，今天突然成为 AI 专家。 有大量的炒作，试图弄清楚将你的资源引导到哪里可能会很累。在你深入了解如何处理你的GenAI正在创作的答案或艺术的细节之前，你需要一个坚实的基础来确保它运行良好。为了提供帮助，我们提出了您需要了解的四个关键领域，以充分利用您投入的时间和资源。

人工智能炒作令人筋疲力尽。以下是对您的组织很重要的四件事。

自从一种新型人工智能风靡全球以来，已经快一年了。这些新的生成式人工智能工具（其中大部分由大型语言模型 （LLM） 提供支持）的功能迫使每个公司和员工重新思考它们的工作方式。这项新技术是对他们工作的威胁，还是可以提高他们生产力的工具？如果你不知道如何充分利用GenAI，你会被同行超越吗？

这种范式转变给工程和技术领导者带来了双重负担。首先是内部需求，即了解您的组织将如何采用这些新工具，以及您需要做些什么来避免落后于竞争对手。其次，如果你向其他公司销售软件和服务，你会发现许多公司已经暂停了对新工具的支出，同时他们确切地梳理了他们对GenAI时代应该采取什么方法。

要知道去哪里寻求建议并不容易。每家大型科技公司都在以极快的速度推出产品和平台，初创公司也像灯笼飞蛾一样激增。在神经网络中，唯一比参数增长得更快的是，承诺打破混乱，提供当天“基本”人工智能新闻的时事通讯数量。让我们不要从一年前专门提供 NFT 建议的社交媒体大师开始，今天突然成为 AI 专家。

有大量的炒作，试图弄清楚将你的资源引导到哪里可能会很累。在你深入了解如何处理你的GenAI正在创作的答案或艺术的细节之前，你需要一个坚实的基础来确保它运行良好。为了提供帮助，我们提出了您需要了解的四个关键领域，以充分利用您投入的时间和资源。

• 矢量数据库
• 嵌入模型
• 检索增强生成
• 知识库

这些几乎可以肯定是你的人工智能堆栈的基本部分，所以请继续阅读下文，了解更多关于有效地将GenAI添加到你的组织所需的四大支柱。

矢量数据库

• 若要使用大型语言模型，需要对数据进行矢量化。这意味着您输入模型的文本将被简化为数字数组，而这些数字将作为地图上的向量，尽管具有数千个维度。查找相似文本简化为查找两个向量之间的距离。这允许你从老式的词汇关键词搜索方法（输入几个术语并返回共享这些关键词的结果）转向语义搜索，用自然语言输入查询并返回一个响应，该响应理解有关Python的编码问题可能指的是编程语言，而不是大蛇。
• “传统的数据结构通常组织在结构化表中，往往无法捕捉到现实世界的复杂性，”Weaviate 的 Philip Vollet 说。“输入向量嵌入。这些嵌入捕获了数据的特征和表示，使机器能够以复杂的方式理解、抽象和计算这些数据。
• 如何选择合适的载体数据库？在某些情况下，这可能取决于您的团队已经在使用的技术堆栈。Stack Overflow 之所以选择 Weaviate，部分原因是它允许我们继续使用 PySpark，这是我们 OverflowAI 工作的最初选择。另一方面，您可能有一个数据库提供商，例如 MongoDB，它一直为您提供良好的服务。Mongo 现在将矢量作为其 OLTP DB 的一部分，从而可以轻松地与现有部署集成。预计这将成为未来数据库提供商的标准。正如 Rockset 工程副总裁Louis Brady 所解释的那样，大多数公司会发现，将矢量数据库与现有系统相结合的混合方法可为您提供最大的灵活性和最佳结果。
• Weaviate 的开发者增长主管 Vollet 表示，在开始时需要权衡很多事情。“在评估选择哪个载体数据库时，需要考虑许多因素。对于那些实施机器学习管道或 AI 应用程序的人来说，从原型设计过渡到生产带来了关键考虑因素，例如水平扩展、多租户等。数据压缩或隔离等因素对于合规性和数据安全性至关重要，在选择合适的产品时必须预先验证。

想了解更多关于矢量数据库的信息吗？查看我们关于将这项技术从原型到生产的深入探讨。

嵌入模型

如何以按内容准确组织数据的方式将数据导入矢量数据库？为此，您需要一个嵌入模型。这是一个软件系统，它将获取您的文本并将其转换为您存储在矢量数据库中的数字数组。有很多可供选择，它们在成本和复杂性方面差异很大。在本文中，我们将重点介绍处理文本的嵌入模型，尽管嵌入模型也可用于组织有关其他类型的媒体（如图像或歌曲）的信息。

​正如戴尔·马科维茨（Dale Markowitz）在谷歌云博客上所写的那样，“如果你想嵌入文本——即对文本进行文本搜索或相似性搜索——你很幸运。有大量预训练的文本嵌入免费且易于获得。一个例子是通用句子解码器，它“将文本编码为高维向量，可用于文本分类、语义相似性、聚类和其他自然语言任务。只需几行 Python 代码，您就可以为 GenAI 聊天机器人风格的界面准备数据。如果你想更进一步，Dale 还有一个很棒的教程，介绍如何使用 Google 表格和一个名为 Semantic Reactor 的插件来构建语言驱动的应用程序的原型。

您需要评估将大量文本放入嵌入模型的时间和成本之间的权衡，以及文本的切片程度，文本通常被分成章节、页面、段落、句子甚至单个单词等部分。另一个权衡是嵌入模型的精度 - 在向量上使用多少个小数位，因为每个小数位都会增加大小。在数百万个代币的数千个向量中，这加起来。您可以使用量化等技术来缩小模型，但在选择适合您的嵌入方法之前，最好考虑所需的数据量和详细程度。

如果您想更深入地了解，请与我们的数据科学主管和我们的一位首席工程师一起观看此播客，他们都致力于 Overflow AI 的嵌入方法。​​​​

检索增强生成 （RAG）

大型人工智能模型通过阅读互联网来获取知识。这意味着他们知道地球是圆的......他们也知道它是平坦的。

像 ChatGPT 这样的大型语言模型的主要问题之一是，它们是在来自互联网的大量文本上进行训练的。这意味着他们已经读了很多关于地球如何是圆的，也很多关于地球是如何平的。该模型没有经过训练来理解这些断言中哪一个是正确的，而只能理解对问题的某个响应与用户输入的查询良好匹配的概率。它还将这些输入混合到一个统计学上可能的新输入中，这是可能发生幻觉的地方。它可能没有响应，这就是为什么检查来源是好的

使用 RAG，您可以限制模型搜索的数据集，这意味着模型希望不会利用不准确的数据。其次，您可以要求模型引用其来源，以便您根据基本事实验证其答案。在 Stack Overflow，这可能意味着仅包含对我们网站上问题的查询，并给出可接受的答案。当用户提出问题时，系统首先会搜索匹配良好的问答帖子。这是这个等式的检索部分。然后，隐藏的提示会指示模型执行以下操作：根据您找到的经过我们社区验证的答案，为用户合成一个简短的答案，然后提供简短的摘要以及指向与用户搜索最匹配的三个帖子的链接。

RAG 的第三个好处是它允许您使模型使用的数据保持最新。训练大型模型的成本很高。目前可用的许多流行模型都是基于几个月甚至几年前结束的训练数据。在那之后问它一个问题，它会很高兴地产生一个令人信服的回答，但它没有实际的信息可以使用。RAG 允许您将模型指向特定数据集，该数据集可以保持最新状态，而无需重新训练整个模型。

RAG 意味着用户仍然可以获得使用 LLM 的好处。他们可以使用自然语言提出问题，并从庞大的数据存储中获取综合最相关信息的摘要。同时，利用预定义的数据集有助于减少幻觉，并为用户提供指向真实情况的链接，因此他们可以轻松地将模型的输出与人类生成的东西进行检查。

此方法适用于您的组织关注的任何领域。律师可以使用 RAG 来确保他们的搜索仅限于经过验证的法律文件，并且不会借鉴该模型在训练来自网络的文本时可能发现的 John Grisham 同人小说。一家以医学为重点的公司可能会将他们的搜索限制在科学研究上，避免模型在阅读《综合医院》旧剧集的剧本时可能学到的答案。当然，它使公司更容易查询专有数据，而不必担心他们的私人信息可能成为另一家公司训练数据的一部分。

知识库

如上一节所述，RAG 可以约束模型在生成响应时所绘制的文本。理想情况下，这意味着你给它提供了准确的数据，而不仅仅是在互联网上阅读的随机抽样。训练 AI 模型最重要的法则之一是数据质量很重要。正如那句老话所说，垃圾进，垃圾出，对你的LLM来说非常适用。给它喂低质量或组织不良的文本，结果同样会是平淡无奇的。

在 Stack Overflow，我们在数据质量问题上有点幸运。问答是组织内部使用的大多数 LLM 所采用的格式，我们的数据集已经以这种方式构建。我们的问答对联可以通过分析投票数或哪个问题有公认的答案来告诉我们哪些信息是准确的，哪些信息仍然缺乏足够的置信度分数。投票还可用于确定三个相似答案中的哪一个可能使用最广泛，因此最有价值。最后但并非最不重要的一点是，标签允许系统更好地了解数据集中不同信息的关联方式。