使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序

Python老猿

于 2024-06-28 14:31:28 发布

阅读量698

点赞数 12

文章标签： llama 数据库 langchain ai大模型 Agent 人工智能大模型

本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/140042683

版权

从大量文本中解锁准确且富有洞察力的答案是大型语言模型 (LLM) 所实现的一项令人兴奋的功能。在构建 LLM 应用程序时，通常需要连接和查询外部数据源以为模型提供相关上下文。一种流行的方法是使用检索增强生成（RAG）来创建问答系统，该系统可以理解复杂的信息并对查询提供自然的响应。 RAG 允许模型利用庞大的知识库，并为聊天机器人和企业搜索助手等应用程序提供类似人类的对话。

在这篇文章中，将探讨如何利用LlamaIndex、Llama 2-70B-Chat和LangChain的强大功能来构建强大的问答应用程序。借助这些最先进的技术，LLM可以提取文本语料库、索引关键知识并生成准确、清晰地回答用户问题的文本。以下产品均可在亚马逊云科技海外区免费试用，链接:https://aws.amazon.com/cn/free/

Llama 2-70B-聊天

Llama 2-70B-Chat 是一个强大的大语言模型，可与领先模型竞争。它经过了 2 万亿个文本标记的预训练，Meta 打算将其用于为用户提供聊天帮助。预训练数据来源于公开数据，截止日期为 2022 年 9 月，微调数据截止日期为 2023 年 7 月。有关模型训练过程、安全注意事项、学习内容和预期用途的更多详细信息，请参阅论文Llama 2 ：开放基础和微调聊天模型。 Llama 2 模型可在Amazon SageMaker JumpStart上使用，以实现快速、简单的部署。

LlamaIndex

LlamaIndex是一个可以构建 LLM 应用程序的数据框架。它提供的工具提供数据连接器，以各种来源和格式（PDF、文档、API、SQL 等）摄取现有数据。无论LLM的数据存储在数据库还是 PDF 中，LlamaIndex 都可以让LLM轻松地将这些数据用于LLM。正如在这篇文章中所演示的，LlamaIndex API 使数据访问变得毫不费力，并使LLM能够创建强大的自定义 LLM 应用程序和工作流程。

如果LLM正在尝试和构建 LLM，LLM可能会熟悉 LangChain，它提供了一个强大的框架，简化了 LLM 支持的应用程序的开发和部署。与LangChain类似，LlamaIndex提供了许多工具，包括数据连接器、数据索引、引擎和数据代理，以及工具和可观察性、追踪性和评估性等应用集成。 LlamaIndex 致力于弥合数据和强大的LLM之间的差距，通过用户友好的功能简化数据任务。 LlamaIndex 专为构建搜索和检索应用程序（例如 RAG）而设计和优化，因为它提供了一个用于查询 LLM 和检索相关文档的简单界面。

解决方案概述

在这篇文章中，演示如何使用 LlamaIndex 和 LLM 创建基于 RAG 的应用程序。下图显示了以下各节中概述的该解决方案的分步架构。

RAG 将信息检索与自然语言生成相结合，以产生更有洞察力的响应。出现提示时，RAG 首先搜索文本语料库以检索与输入最相关的示例。在响应生成过程中，模型会考虑这些示例来增强其功能。通过合并相关检索到的段落，与基本生成模型相比，RAG 响应往往更加真实、连贯且与上下文一致。这种检索-生成框架利用了检索和生成的优势，有助于解决纯自回归会话模型可能出现的重复和缺乏上下文等问题。 RAG 引入了一种有效的方法来构建对话代理和人工智能助手，并提供情境化的高质量响应。

构建解决方案包括以下步骤：

将Amazon SageMaker Studio设置为开发环境并安装所需的依赖项。
从 Amazon SageMaker JumpStart 中心部署嵌入模型。
下载新闻稿作为的外部知识库。
根据新闻稿构建索引，以便能够查询并将其作为附加上下文添加到提示中。
查询知识库。
使用 LlamaIndex 和 LangChain 代理构建问答应用程序。

先决条件

在此示例中，LLM需要一个具有 SageMaker 域和适当的亚马逊云科技 Identity and Access Management (IAM) 权限的亚马逊云科技账户。有关账户设置说明，请参阅创建亚马逊云科技账户。如果LLM还没有 SageMaker 域，请参阅Amazon SageMaker 域概述来创建一个。在本文中，使用AmazonSageMakerFullAccess角色。不建议LLM在生产环境中使用此凭据。相反，LLM应该创建并使用具有最低权限的角色。LLM还可以探索如何使用Amazon SageMaker Role Manager直接通过 SageMaker 控制台构建和管理基于角色的 IAM 角色，以满足常见的机器学习需求。

此外，LLM至少需要访问以下实例大小：

ml.g5.2xlarge用于部署Hugging Face GPT-J文本嵌入模型时的端点使用
ml.g5.48xlarge用于部署 Llama 2-Chat 模型端点时的端点使用

要增加配额，请参阅请求增加配额。

使用 SageMaker JumpStart 部署 GPT-J 嵌入模型

本部分为LLM提供部署 SageMaker JumpStart 模型时的两个选项。LLM可以使用提供的代码进行基于代码的部署，或使用 SageMaker JumpStart 用户界面 (UI)。

使用 SageMaker Python SDK 进行部署

LLM可以使用 SageMaker Python SDK 来部署 LLM，如存储库中提供的代码所示。完成以下步骤：

使用以下命令设置用于部署嵌入模型的实例大小instance_type = "ml.g5.2xlarge"
找到用于嵌入的模型的 ID。在 SageMaker JumpStart 中，它被标识为model_id = "huggingface-textembedding-gpt-j-6b-fp16"
检索预先训练的模型容器并将其部署以进行推理。

成功部署嵌入模型后，SageMaker 将返回模型端点的名称和以下消息：

在 SageMaker Studio 中使用 SageMaker JumpStart 进行部署

要在 Studio 中使用 SageMaker JumpStart 部署模型，请完成以下步骤：

在 SageMaker Studio 控制台上，在导航窗格中选择 JumpStart。

搜索并选择 GPT-J 6B Embedding FP16 型号。
选择部署并自定义部署配置。

对于此示例，需要一个 ml.g5.2xlarge 实例，这是 SageMaker JumpStart 建议的默认实例。
再次选择部署以创建端点。

端点大约需要 5-10 分钟才能投入使用。

部署嵌入模型后，为了使用 LangChain 与 SageMaker API 的集成，LLM需要创建一个函数来处理输入（原始文本）并使用模型将其转换为嵌入。LLM可以通过创建一个名为的类来完成此操作ContentHandler，该类接受输入数据的 JSON，并返回文本嵌入的 JSON：class ContentHandler(EmbeddingsContentHandler).

将模型端点名称传递给ContentHandler函数以转换文本并返回嵌入：

代码语言：javascript

embeddings = SagemakerEndpointEmbeddings(endpoint_name='huggingface-textembedding-gpt-j-6b-fp16', region_name= aws_region, content_handler=emb_content_handler).

LLM可以在 SDK 的输出或 SageMaker JumpStart UI 的部署详细信息中找到端点名称。

LLM可以通过输入一些原始文本并运行函数来测试ContentHandler函数和端点是否按预期工作embeddings.embed_query(text)。LLM可以使用提供的示例text = "Hi! It's time for the beach"或尝试LLM自己的文本。

使用 SageMaker JumpStart 部署和测试 Llama 2-Chat

现在LLM可以部署能够与用户进行交互式对话的模型。在本例中，选择 Llama 2-chat 模型之一，该模型通过以下方式识别

代码语言：javascript

my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")

该模型需要使用部署到实时端点predictor = my_model.deploy()。 SageMaker 将返回模型的端点名称，LLM可以将其用作endpoint_name稍后引用的变量。

LLM定义一个print_dialogue函数来将输入发送到聊天模型并接收其输出响应。有效负载包含模型的超参数，其中包括：

max_new_tokens – 指模型可以在其输出中生成的最大令牌数。
top_p – 指模型在生成输出时可以保留的令牌的累积概率
温度– 指模型生成的输出的随机性。温度大于 0 或等于 1 会增加随机性级别，而温度为 0 将生成最有可能的标记。

LLM应该根据LLM的用例选择超参数并对其进行适当的测试。 Llama 系列等型号要求LLM包含一个附加参数，表明LLM已阅读并接受最终用户许可协议 (EULA)：

代码语言：javascript

response = predictor.predict(payload, custom_attributes='accept_eula=true')

要测试模型，请替换输入有效负载的内容部分："content": "what is the recipe of mayonnaise?"。LLM可以使用自己的文本值并更新超参数以更好地理解它们。

与嵌入模型的部署类似，LLM可以使用 SageMaker JumpStart UI 部署 Llama-70B-Chat：

在 SageMaker Studio 控制台上，在导航窗格中选择JumpStart
搜索并选择Llama-2-70b-Chat model
接受 EULA 并选择Deploy，再次使用默认实例

与嵌入模型类似，LLM可以通过为聊天模型的输入和输出创建内容处理程序模板来使用 LangChain 集成。在这种情况下，LLM将输入定义为来自用户的输入，并指示它们受system prompt.它system prompt告知模型其在帮助用户处理特定用例方面的作用。

除了上述超参数和自定义属性（EULA 接受）之外，调用模型时还会传递此内容处理程序。LLM可以使用以下代码解析所有这些属性：

代码语言：javascript

llm = SagemakerEndpoint(
        endpoint_name=endpoint_name,
        region_name="us-east-1",
        model_kwargs={"max_new_tokens":500, "top_p": 0.1, "temperature": 0.4, "return_full_text": False},
        content_handler=content_handler,
        endpoint_kwargs = {"CustomAttributes": "accept_eula=true"}
    )

当端点可用时，LLM可以测试它是否按预期工作。LLM可以llm("what is amazon sagemaker?")使用自己的文本进行更新。LLM还需要定义ContentHandler使用 LangChain 调用 LLM 的具体内容，如代码和以下代码片段所示：

代码语言：javascript

class ContentHandler(LLMContentHandler):
    content_type = "application/json"
    accepts = "application/json"
    def transform_input(self, prompt: str, model_kwargs: dict) -> bytes:
            payload = {
                "inputs": [
                    [
                        {
                            "role": "system",
                            "content": system_prompt,
                        },
                        {"role": "user", "content": prompt},
                    ],
                ],
                "parameters": model_kwargs,
            }
            input_str = json.dumps(
                payload,
            )
            return input_str.encode("utf-8")
   
    def transform_output(self, output: bytes) -> str:
            response_json = json.loads(output.read().decode("utf-8"))
            content = response_json[0]["generation"]["content"]
            return content
        
content_handler = ContentHandler()

使用 LlamaIndex 构建 RAG

要继续，请安装 LlamaIndex 以创建 RAG 应用程序。LLM可以使用 pip 安装 LlamaIndex：pip install llama_index

LLM首先需要将数据（知识库）加载到 LlamaIndex 上以进行索引。这涉及几个步骤：

选择数据加载器：

LlamaIndex 在LlamaHub上提供了许多可用的数据连接器，适用于 JSON、CSV 和文本文件等常见数据类型以及其他数据源，允许LLM提取各种数据集。在这篇文章中，使用SimpleDirectoryReader代码中所示的方式提取一些 PDF 文件。的数据样本是代码存储库中新闻稿文件夹中的两份 PDF 版本的 Amazon 新闻稿。加载 PDF 后，LLM可以看到它们已转换为包含 11 个元素的列表。

DocumentLLM还可以将对象转换为Node对象，然后再将其发送到索引，而不是直接加载文档。选择将整个Document对象发送到索引还是Node在索引之前将 Document 转换为对象取决于LLM的具体用例和数据结构。对于长文档，节点方法通常是一个不错的选择，在这种情况下，LLM想要分解和检索文档的特定部分而不是整个文档。有关更多信息，请参阅文档/节点。

实例化加载器并加载文档：

此步骤初始化加载器类和任何所需的配置，例如是否忽略隐藏文件。有关更多详细信息，请参阅SimpleDirectoryReader。

调用加载器的load_data方法来解析源文件和数据，并将它们转换为 LlamaIndex Document 对象，准备索引和查询。LLM可以使用以下代码，利用 LlamaIndex 的索引和检索功能完成全文搜索的数据摄取和准备：

代码语言：javascript

docs = SimpleDirectoryReader(input_dir="pressrelease").load_data()

建立索引：

LlamaIndex 的关键特性是它能够在数据上构建有组织的索引，这些数据表示为文档或节点。索引有助于有效地查询数据。使用默认的内存向量存储和定义的设置配置来创建索引。 LlamaIndex Settings是一个配置对象，为 LlamaIndex 应用程序中的索引和查询操作提供常用资源和设置。它充当单例对象，因此它允许LLM设置全局配置，同时还允许LLM通过将特定组件直接传递到使用它们的接口（例如 LLM、嵌入模型）来本地覆盖特定组件。当未显式提供特定组件时，LlamaIndex 框架会回退到对象中定义的设置Settings作为全局默认值。要将的嵌入和 LLM 模型与 LangChain 一起使用并配置，Settings需要安装llama_index.embeddings.langchain和llama_index.llms.langchain。可以Settings像下面的代码一样配置该对象：

代码语言：javascript

Settings.embed_model = LangchainEmbedding(embeddings)
Settings.llm = LangChainLLM(llm)

默认情况下，使用作为默认存储上下文的一部分初始化的VectorStoreIndex内存中。SimpleVectorStore在现实生活中的使用案例中，LLM经常需要连接到外部矢量存储，例如Amazon OpenSearch Service。有关更多详细信息，请参阅Amazon OpenSearch Serverless 的矢量引擎。

代码语言：javascript

index = VectorStoreIndex.from_documents(docs, service_context=service_context)

现在，LLM可以使用 LlamaIndex 中的query_engine对文档运行问答。为此，请传递LLM之前为查询创建的索引并提出LLM的问题。查询引擎是查询数据的通用接口。它采用自然语言查询作为输入并返回丰富的响应。查询引擎通常使用检索器构建在一个或多个索引之上。

代码语言：javascript

query_engine = index.as_query_engine() print(query_engine.query("Since migrating to AWS in May, how much in operational cost Yellow.ai has reduced?"))

LLM可以看到 RAG 解决方案能够从提供的文档中检索正确的答案：

代码语言：javascript

According to the provided information, Yellow.ai has reduced its operational costs by 20% since migrating to AWS in May

使用LangChain工具和代理

Loader班级。该加载器旨在将数据加载到 LlamaIndex 中或随后作为LangChain 代理中的工具。这为LLM提供了更多功能和灵活性，可以将其用作应用程序的一部分。首先从 LangChain 代理类定义LLM的工具。LLM传递给工具的函数会查询LLM使用 LlamaIndex 在文档上构建的索引。

代码语言：javascript

tools = [
    Tool(
        name="Pressrelease",
        func=lambda q: str(index.as_query_engine().query(q)),
        description="useful pressreleases for answering relevnat questions",
        return_direct=True,
    ),
]

然后，LLM选择要用于 RAG 实施的正确代理类型。在这种情况下，LLM可以使用chat-zero-shot-react-description代理。通过此代理，LLM 将使用可用的工具（在本例中为知识库上的 RAG）来提供响应。然后，LLM可以通过传递工具、LLM 和代理类型来初始化代理：

代码语言：javascript

agent= initialize_agent(tools, llm, agent="chat-zero-shot-react-description", verbose=True)

LLM可以看到代理正在通过thoughts、actions、和observation，使用该工具（在本场景中，查询LLM的索引文档）；并返回结果：

代码语言：javascript

'According to the provided press release, Yellow.ai has reduced its operational costs by 20%, driven performance improvements by 15%, and cut infrastructure costs by 10% since migrating to AWS. However, the specific cost savings from the migration are not mentioned in the provided information. It only states that the company has been able to reinvest the savings into innovation and AI research and development.'

清理

为了避免不必要的成本，LLM可以通过以下代码片段或 Amazon JumpStart UI 清理资源。

要使用Boto3 SDK，请使用以下代码删除文本嵌入模型端点和文本生成模型端点以及端点配置：

代码语言：javascript

client = boto3.client('sagemaker', region_name=aws_region)
client.delete_endpoint(EndpointName=endpoint_name)
client.delete_endpoint_config(EndpointConfigName=endpoint_configuration)

要使用 SageMaker 控制台，请完成以下步骤：

在 SageMaker 控制台的导航窗格中的推理下，选择端点
搜索嵌入和文本生成端点。
在端点详细信息页面上，选择删除。
再次选择删除进行确认。

结论

对于专注于搜索和检索的用例，LlamaIndex 提供了灵活的功能。它擅长为LLM建立索引和检索，使其成为深度探索数据的强大工具。 LlamaIndex 使LLM能够创建有组织的数据索引、使用不同的 LLM、增强数据以获得更好的 LLM 性能以及使用自然语言查询数据。

这篇文章演示了一些关键的 LlamaIndex 概念和功能。使用 GPT-J 进行嵌入，并使用 Llama 2-Chat 作为 LLM 来构建 RAG 应用程序，但LLM可以使用任何合适的模型。LLM可以探索 SageMaker JumpStart 上提供的全面的模型。

还展示了 LlamaIndex 如何提供强大、灵活的工具来连接、索引、检索数据以及与 LangChain 等其他框架集成数据。通过 LlamaIndex 集成和 LangChain，LLM可以构建更强大、更通用、更有洞察力的 LLM 应用程序。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍