快速搭建自己的RAG应用（一）

如果你问我什么是明显的人工智能用例，可以提供价值的将是知识管理，不如你在哪里组织工作，每周都会有大量的文档留存或者是会议记录，这些文档不像图书馆的图书那样分类清晰，或者格式较为统一，任何人都可以阅读和消化这些信息，但是如果有强大的大预言模型，这个问题终于有了解决的办法，因为我们可以让语言模型来阅读各种不同的数据文档并为我们检索答案，这也就是一直以来有讨论为什么大ai即将颠覆搜索引擎，当你拥有一个强大的模型可以直接提供你答案，为什么还需要自己去检索并总结？

随着信息量的爆炸式增长，个人知识库的构建和管理变得愈发重要。除开开源的模型，还有像OpenAI，千问等产品提供的API，如同一座桥梁，降低了使用难度，连接了您的数据宝库与先进的自然语言处理能力。通过这些接口，您可以轻松实现文本的生成、理解、翻译和摘要，甚至是复杂问题的解答和智能对话的构建。

在本文的指导下。我们将一步步展示如何搭建一个基础的知识库系统，包括数据的收集、存储和检索，我们还将探讨如何优化您的知识库，使其更加智能准确。

初体验

拿智谱AI来说，开源了部分大模型，有条件的同学可以在自己的机器上部署，模型可以到魔搭社区自取，或者直接使用ollama即可在本地简单部署你想要的模型，又或者是使用官方的api接口，基于以上两者其一作为基石搭建自己文档助手。下面我就api接口的方式来做演示。

首先，我们先在智谱上注册，拿到开发api key，智谱也对新开发者赠送体验包100万tokens的体验礼包，这个肯定是够够的了。

1. 1. 参考开发者文档，我们可以接入接口看看效果。

bash
复制代码
#安装zhipu的sdk包
pip install --upgrade zhipuai

1. 2. 调用接口

ini
复制代码
from zhipuai import ZhipuAI

client = ZhipuAI(api_key="key--xx")  # 请填写您自己的APIKey
response = client.chat.completions.create(
    model="glm-4",  # 填写需要调用的模型名称
    messages=[
        {"role": "system", "content": "你是一个乐于解答各种问题的助手，你的任务是为用户提供专业、准确、有见地的建议。"},
        {"role": "user",
         "content": "马云生日是什么时候？"},
    ],
    stream=True,
)
for chunk in response:
    print(chunk.choices[0].delta.content,end='')

上下文理解

上面我们已经完成一次对话，询问了马云的生日，但是在现实场景中，对话一般都是连续的，假设接下来我再问gpt：他是哪里人？按照上面的代码，我们应该怎么改写呢？这里就带出一个名词：上下文。

"上下文"指的是模型在处理或生成文本时所依赖的先前信息。这些信息可以是之前的句子、段落，甚至是整个对话或文档。上下文对于理解语言的复杂性和细微差别至关重要，因为它帮助模型捕捉到语言中的连贯性、指代关系和语境含义。例如，在对话系统中，上下文可能包括对话的先前轮次，这样模型就能理解当前轮次中的代词（如“它”、“这个”）指的是什么，或者理解某个笑话或隐喻的背景。在文本生成任务中，上下文可能包括用户提供的提示或之前的文本，模型需要根据这些信息来生成连贯和相关的后续文本；

简单来说，就是每次的对话，都得先把之前所有的聊天记录重新喂给GPT，让GPT理解上下文，并针对新问题作出解答。

代入到上面的马云问题中，改写如下：

ini
复制代码
from zhipuai import ZhipuAI

client = ZhipuAI(api_key="key-xx")  # 请填写您自己的APIKey
response = client.chat.completions.create(
    model="glm-4",  # 填写需要调用的模型名称
    messages=[
        {"role": "system", "content": "你是一个乐于解答各种问题的助手，你的任务是为用户提供专业、准确、有见地的建议。"},
        {"role": "user","content": "马云生日是什么时候？"},
        {"role": "assistant", "content": "马云的生日是1964年9月10日。"},
        {"role": "user", "content": "他是哪里人？"},
    ],
    stream=True,
)
for chunk in response:
    print(chunk.choices[0].delta.content,end='')

这样，ai就能理解“他”指的马云了。这里面messages参数，从上到下表示和gpt的对话的过程内容，role参数用于标识每条消息的角色。它指示消息是由系统（AI助手）发送的还是由用户发送的

1. “system”：代表系统或AI助手发送的消息，通常包含系统提示、介绍或其他非用户生成的信息。
2. “user”：代表用户发送的消息，包含用户的查询或请求。
3. “assistant”：代表AI助手发送的消息，通常是对用户查询的响应或建议。

通过区分消息的角色，可以更好地理解对话的流程和每个参与者的作用。

我们希望对话之间是连续的，总不能每问一次，都得把gpt的回答记下来，在下次问的时候改代码带上吧，这时候我们可以使用集合记起来，

python
复制代码
from typing import List

from zhipuai import ZhipuAI

from info import key

client = ZhipuAI(api_key=key)  # 请填写您自己的APIKey
# 用于保存聊天上下文
history: List = [
    {"role": "system", "content": "你是一个乐于解答各种问题的助手，你的任务是为用户提供专业、准确、有见地的建议。"}]

while True:
    user_input = input("请输入文字，按回车键确认：")
    # 检查用户是否想要退出
    if user_input.lower() == 'exit':
        print("程序退出。")
        break
    # 拼接问题
    history.append({"role": "user", "content": user_input})
    response = client.chat.completions.create(
        model="glm-4",
        messages=history,
        stream=True,
    )
    result = ""
    for chunk in response:
        word = chunk.choices[0].delta.content
        print(word, end='')
        result += word
    # 拼接回答
    history.append({"role": "assistant", "content": result}),
    print("")

好了，我们已经构建好了一个雏形，基于开放接口完成了一个基本的问答助手。问答助手现在都是基于互联网上的知识回答，下一章，我们将把个人知识库内容喂给他，让他可以根据知识库内容回答我们的问题。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓