【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析

项目仓库地址
项目学习地址

一、大模型开发整体流程

1. 何为大模型开发

定义

开发以LLM为功能核心,通过LLM的强大理解能力和生成能力,结合特殊的数据或业务逻辑来提供独特功能的应用。

核心点

  • 通过调用 API 或开源模型来实现核心的理解与生成
  • 通过 Prompt Enginnering 来实现大语言模型的控制

在大模型开发中,我们一般不会去大幅度改动模型,而是将大模型作为一个调用工具。通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力,适配应用任务,而不会将精力聚焦在优化模型本身上。这因此,作为大模型开发的初学者,我们并不需要深研大模型内部原理,而更需要掌握使用大模型的实践技巧

在这里插入图片描述

核心能力

指令理解与文本生成,提供了复杂业务逻辑的简单平替方案。

传统 AI大模型开发
开发将复杂业务逻辑拆解,对于每一个子业务构造训练数据与验证数据,训练优化模型,形成完整的模型链路来解决整个业务逻辑。用 Prompt Engineering 来替代子模型的训练调优。通过 Prompt 链路组合来实现业务逻辑,用一个通用大模型 + 若干业务 Prompt 来解决任务
评估思路训练集上训练、测试集调优、验证集验证初始化验证集Prompt、收集BadCase、迭代优化Prompt

2. 大模型开发的整体流程

在这里插入图片描述

1. 设计

  • 确定目标:在进行开发前,我们首先需要确定开发的目标,即要开发的应用的应用场景、目标人群、核心价值。对于个体开发者或小型开发团队而言,一般应先设定最小化目标,从构建一个 mvp(最小可行性产品)开始,逐步进行完善和优化。

  • 设计功能:在确定开发目标后,需要设计本应用所要提供的功能,以及每一个功能的大体实现逻辑。虽然我们通过使用大模型来简化了业务逻辑的拆解,但是越清晰、深入的业务逻辑理解往往也能带来更好的 Prompt 效果。同样,对于个体开发者或小型开发团队来说,首先要确定应用的核心功能,然后延展设计核心功能的上下游功能;例如,我们想打造一款个人知识库助手,那么核心功能就是结合个人知识库内容进行问题的回答,那么其上游功能的用户上传知识库、下游功能的用户手动纠正模型回答就是我们也必须要设计实现的子功能。

2. 架构搭建

  • 搭建整体架构:目前,绝大部分大模型应用都是采用的特定数据库+ Prompt + 通用大模型的架构。我们需要针对我们所设计的功能,搭建项目的整体架构,实现从用户输入到应用输出的全流程贯通。一般来说,我们推荐基于 LangChain 框架进行开发。LangChain 提供了 Chain、Tool 等架构的实现,我们可以基于 LangChain 进行个性化定制,实现从用户输入到数据库再到大模型最后输出的整体架构连接。

  • 搭建数据库:个性化大模型应用需要有个性化数据库进行支撑。由于大模型应用需要进行向量语义检索,一般使用诸如 chroma 的向量数据库。在该步骤中,我们需要收集数据并进行预处理,再向量化存储到数据库中。数据预处理一般包括从多种格式向纯文本的转化,例如 pdf、markdown、html、音视频等,以及对错误数据、异常数据、脏数据进行清洗。完成预处理后,需要进行切片、向量化构建出个性化数据库。

3. Prompt Engineering

  • Prompt Engineering:优质的 Prompt 对大模型能力具有极大影响,我们需要逐步迭代构建优质的 Prompt Engineering 来提升应用性能。在该步中,我们首先应该明确 Prompt 设计的一般原则及技巧,构建出一个来源于实际业务的小型验证集,基于小型验证集设计满足基本要求、具备基本能力的 Prompt。

4. 验证迭代

  • 验证迭代:验证迭代在大模型开发中是极其重要的一步,一般指通过不断发现 Bad Case 并针对性改进 Prompt Engineering 来提升系统效果、应对边界情况。在完成上一步的初始化 Prompt 设计后,我们应该进行实际业务测试,探讨边界情况,找到 Bad Case,并针对性分析 Prompt 存在的问题,从而不断迭代优化,直到达到一个较为稳定、可以基本实现目标的 Prompt 版本。

  • 体验优化:在完成前后端搭建之后,应用就可以上线体验了。接下来就需要进行长期的用户体验跟踪,记录 Bad Case 与用户负反馈,再针对性进行优化即可。

5. 前后端搭建

  • 前后端搭建:完成 Prompt Engineering 及其迭代优化之后,我们就完成了应用的核心功能,可以充分发挥大语言模型的强大能力。接下来我们需要搭建前后端,设计产品页面,让我们的应用能够上线成为产品。前后端开发是非常经典且成熟的领域,此处就不再赘述,我们将主要介绍两种快速开发 Demo 的框架:Gradio 和 Streamlit,可以帮助个体开发者迅速搭建可视化页面实现 Demo 上线。

二、项目流程简析

以下我们将结合本实践项目与上文的整体流程介绍,简要分析本项目开发流程如下:

步骤一:项目规划与需求分析

1.项目目标

基于个人知识库的问答助手

2.核心功能
  1. 上传文档、创建知识库;
  2. 选择知识库,检索用户提问的知识片段;
  3. 提供知识片段与提问,获取大模型回答;
  4. 流式回复;
  5. 历史对话记录
3.确定技术架构和工具
  1. LangChain框架
  2. Chroma知识库
  3. 大模型使用 GPT、Claude、科大讯飞的星火大模型、文心一言、Chat-GLM2等
  4. 前后端使用 Gradio 和 Streamlit。

步骤二:数据准备与向量知识库构建

本项目实现原理如下图所示(图片来源),过程包括:

  1. 加载本地文档
  2. 读取文本
  3. 文本分割
  4. 文本向量化
  5. Query 向量化
  6. 向量匹配,最相似的 top k个
  7. 匹配出的文本作为上下文和问题一起添加到 prompt中
  8. 提交给 LLM做生成回答

在这里插入图片描述

1. 收集和整理用户提供的文档。

用户常用文档格式有 pdf、txt、doc 等,首先使用工具读取文本,通常使用 langchain 的文档加载器模块可以方便的将用户提供的文档加载进来,也可以使用一些 python 比较成熟的包进行读取。

由于目前大模型使用 token 限制,我们需要对读取的文本进行切分,将较长的文本切分为较小的文本,这时一段文本就是一个单位的知识。

2. 将文档词向量化

使用文本嵌入(Embeddings)对分割后的文档进行向量化,使语义相似的文本片段具有接近的向量表示。然后,存入向量数据库,这个流程正是创建索引(index)的过程。

向量数据库对各文档片段进行索引,支持快速检索。这样,当用户提出问题时,可以先将问题转换为向量,在数据库中快速找到语义最相关的文档片段。然后将这些文档片段与问题一起传递给语言模型,生成回答。

3. 将向量化后的文档导入Chroma知识库,建立知识库索引。

Langchain集成了超过30个不同的向量存储库。我们选择 Chroma 向量库是因为它轻量级且数据存储在内存中,这使得它非常容易启动和开始使用。

将用户知识库内容经过 embedding 存入向量知识库,然后用户每一次提问也会经过 embedding,利用向量相关性算法(例如余弦算法)找到最匹配的几个知识库片段,将这些知识库片段作为上下文,与用户问题一起作为 prompt 提交给 LLM 回答。

步骤三:大模型集成与API连接

  1. 集成GPT、Claude、星火、文心、GLM等大模型,配置API连接。
  2. 编写代码,实现与大模型API的交互,以便获取问题答案。

步骤四:核心功能实现

  1. 构建 Prompt Engineering,实现大模型回答功能,根据用户提问和知识库内容生成回答。
  2. 实现流式回复,允许用户进行多轮对话。
  3. 添加历史对话记录功能,保存用户与助手的交互历史。

步骤五:核心功能迭代优化

  1. 进行验证评估,收集 Bad Case。
  2. 根据 Bad Case 迭代优化核心功能实现。

步骤六:前端与用户交互界面开发

  1. 使用 Gradio 和 Streamlit 搭建前端界面。
  2. 实现用户上传文档、创建知识库的功能。
  3. 设计用户界面,包括问题输入、知识库选择、历史记录展示等。

步骤七:部署测试与上线

  1. 部署问答助手到服务器或云平台,确保可在互联网上访问。
  2. 进行生产环境测试,确保系统稳定。
  3. 上线并向用户发布。

步骤八:维护与持续改进

  1. 监测系统性能和用户反馈,及时处理问题。
  2. 定期更新知识库,添加新的文档和信息。
  3. 收集用户需求,进行系统改进和功能扩展。

整个流程将确保项目从规划、开发、测试到上线和维护都能够顺利进行,为用户提供高质量的基于个人知识库的问答助手。

三、项目架构简析

1. 整体架构

经过上文分析,本项目为搭建一个基于大模型的个人知识库助手,基于 LangChain 框架搭建,核心技术包括 LLM API 调用、向量数据库、检索问答链等。项目整体架构如下:

在这里插入图片描述

如上,本项目从底向上依次分为 LLM 层、数据层、数据库层、应用层与服务层

  • LLM 层:主要基于四种流行 LLM API 进行了 LLM 调用封装,支持用户以统一的入口、方式来访问不同的模型,支持随时进行模型的切换;
  • 数据层:主要包括个人知识库的源数据以及 Embedding API,源数据经过 Embedding 处理可以被向量数据库使用;
  • 数据库层:主要为基于个人知识库源数据搭建的向量数据库,在本项目中我们选择了 Chroma;
  • 应用层:为核心功能的最顶层封装,我们基于 LangChain 提供的检索问答链基类进行了进一步封装,从而支持不同模型切换以及便捷实现基于数据库的检索问答;
  • 服务层:分别实现了 Gradio 搭建 Demo 与 FastAPI 组建 API 两种方式来支持本项目的服务访问。

2. 代码结构

本项目的完整代码存放于 project 目录下,实现了项目的全部功能及封装,代码结构如下:

​ -project
​ -readme.md 项目说明
​ -llm LLM调用封装
​ -self_llm.py 自定义 LLM 基类
​ -wenxin_llm.py 自定义百度文心 LLM
​ -spark_llm.py 自定义讯飞星火 LLM
​ -zhipu_llm.py 自定义智谱 LLM
​ -call_llm.py 将各个 LLM 的原生接口封装在一起
​ -embedding embedding调用封装
​ -zhipu_embedding.py 自定义智谱embedding
​ -data 源数据路径
​ -database 数据库层封装
​ -create_db.py 处理源数据及初始化数据库封装
​ -chain 应用层封装
​ -qa_chain.py 封装检索问答链,返回一个检索问答链对象
​ -chat_qa_chian.py:封装对话检索链,返回一个对话检索链对象
​ -prompt_template.py 存放多个版本的 Template
​ -serve 服务层封装
​ -run_gradio.py 启动 Gradio 界面
​ -api.py 封装 FastAPI
​ -run_api.sh 启动 API

3. 项目逻辑

  1. 用户:可以通过run_gradio或者run_api启动整个服务;
  2. 服务层调用qa_chain.pychat_qa_chain实例化对话检索链对象,实现全部核心功能;
  3. 服务层和应用层都可以调用、切换prompt_template.py中的 prompt 模板来实现 prompt 的迭代;
  4. 也可以直接调用call_llm中的get_completion函数来实现不使用数据库的 LLM;
  5. 应用层调用已存在的数据库和 llm 中的自定义 LLM 来构建检索链;
  6. 如果数据库不存在,应用层调用create_db.py创建数据库,该脚本可以使用 openai embedding 也可以使用embedding.py中的自定义 embedding。

4. 各层简析

4.1 LLM 层

LLM 层主要功能为:将国内外四种知名 LLM API(OpenAI-ChatGPT、百度文心、讯飞星火、智谱GLM)进行封装,隐藏不同 API 的调用差异,实现在同一个对象或函数中通过不同的 model 参数来使用不同来源的 LLM。

在 LLM 层,我们首先构建了一个 Self_LLM 基类,基类定义了所有 API 的一些共同参数(如 API_Key,temperature 等);然后我们在该基类基础上继承实现了上述四种 LLM API 的自定义 LLM。同时,我们也将四种 LLM 的原生 API 封装在了统一的 get_completion 函数中。

在上一章,我们已详细介绍了每一种 LLM 的调用方式、封装方式,项目代码中的 LLM 层封装就是上一章讲解的代码实践。

4.2 数据层

数据层主要包括:个人知识库的源数据(包括 pdf、txt、md 等)和 Embedding 对象。源数据需要经过 Embedding 处理才能进入向量数据库,我们在数据层自定义了智谱提供的 Embedding API 的封装,支持上层以统一方式调用智谱 Embedding 或 OpenAI Embedding。

在上一章,我们也已详细介绍了 Embdding API 的调用及封装方式。

4.3 数据库层

数据库层主要:存放了向量数据库文件。同时,我们在该层实现了源数据处理、创建向量数据库的方法。

我们将在第四章详细介绍向量数据库、源数据处理方法以及构建向量数据库的具体实现。

4.4 应用层

应用层:封装了整个项目的全部核心功能。我们基于 LangChain 提供的检索问答链,在 LLM 层、数据库层的基础上,实现了本项目检索问答链的封装。自定义的检索问答链除具备基本的检索问答功能外,也支持通过 model 参数来灵活切换使用的 LLM。我们实现了两个检索问答链,分别是有历史记录的 Chat_QA_Chain 和没有历史记录的 QA_Chain。

我们将在第五章讲解 Prompt 的构造与检索问答链的构建细节。

4.5 服务层

服务层主要是:基于应用层的核心功能封装,实现了 Demo 的搭建或 API 的封装。在本项目中,我们分别实现了通过 Gradio 搭建前端界面与 FastAPI 进行封装,支持多样化的项目调用。

我们将在第六章详细介绍如何使用 Gradio 以及 FastAPI 来实现服务层的设计。

  • 15
    点赞
  • 59
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
### 回答1: 很抱歉,我是一名语言模型AI,无法回答您的问题。但是,我可以告诉您,JavaEE企业级应用开发教程第二版是一本介绍JavaEE技术的书籍,适合想要学习JavaEE开发的读者阅读。该书详细介绍了JavaEE的各种技术和应用,包括Servlet、JSP、EJB、JMS、JNDI、JTA、JPA等。同时,该书还提供了大量的实例和案例,帮助读者更好地理解和应用JavaEE技术。 ### 回答2: 《JavaEE企业级应用开发教程》第二版是一本介绍Java企业级应用开发的经典教程,旨在帮助开发者学习、掌握JavaEE开发技术,开发出高质量的企业级应用。本书共分为19章,涵盖了JavaEE开发中的各个方面,用户可根据自身需求选择相应章节进行学习。 第一章对JavaEE的概念、体系结构、规范、组建以及JavaSE和JavaEE的差别进行了详细的介绍;第二、三、四章介绍了JavaEE技术中的Servlet和JSP技术,其中第四章提供了一些JSTL和EL的样例;第五、六、七章讲解了EJB的概念、分类、生命周期、部署、访问及其它方面;第八章详细讲解了JPA(Java Persistence API)技术、EntityManager、Entity、Annotation等内容;第九、十、十一章讲述了JavaEE应用中常涉及的账户、安全、权限、加密、数字签名、HTTPS、JAAS等安全方面的技术;第十二章介绍了Web Services的相关概念和技术,包括SOAP、RESTful等;第十三、十四、十五章介绍了JavaEE中的RMI、JMS、JMX等技术;第十六章简要介绍了Web 2.0、Ajax、GWT、Comet等技术;第十七章讲解了JTA(Java Transaction API)的相关概念和应用;第十八章则是介绍了JavaEE的最新技术,包括JDO、OO分布式系统等;最后一章则介绍了如何有效地构建、测试和部署JavaEE应用程序。 本书采用了项目式的教学方法,对每一个章节都提供了一些示例程序,这些程序既有可运行的示例,也有结合实际案例提供的完整开发流程,用户可以在参照这些实例的基础上,逐步学习、掌握JavaEE开发技术,编写出具有高质量的企业级应用。同时,本书难度适中,易于上手,即使是JavaEE新手也能易于理解,有助于初学者快速掌握JavaEE的核心知识和技能。 ### 回答3: 《JavaEE企业级应用开发教程第二版》是一本面向JavaEE开发者的教程,旨在教授企业级应用开发的相关知识和技能。全书共分为12章,涵盖了从基础知识到高级应用的全面内容,可以帮助读者从实践角度了解JavaEE技术和应用。 第一章介绍了JavaEE开发的基础知识,包括JavaEE架构、服务器、Web应用程序和Java Servlet规范等。第二章则着重讲解常用工具和框架,例如Ant、Maven、Eclipse和Spring等,这些工具和框架可以提高开发和调试效率。 第三章到第六章主要讲解JavaEE开发的核心技术,包括JSP和Servlet、EJB、JMS和JPA等。这些技术在JavaEE应用中经常被用到,本教程详细阐述了它们的使用方法和原理,还给出了很多实例和代码示例。 第七章至第九章则分别介绍了Web服务、RESTful服务和SOAP服务的开发。这些服务是现代企业开发中常用的一种技术方法,本书通过实例和代码示例,帮助读者深入了解它们的开发过程和应用场景。 第十章到第十二章分别涵盖了企业级应用的高级技术,包括异步JMS、分布式事务、安全和性能优化等。这些技术对于构建高可用、高性能的企业级应用至关重要,本书给出了一些实践方案和经验分享,帮助读者更好地理解和应用这些技术。 总之,本书是一本全面系统的JavaEE教程,适合已经掌握Java基础知识,希望深入学习JavaEE技术和应用的开发者。通过本书的学习,读者可以提高自己的应用开发水平,同时也能够更好地理解和应用目前流行的企业级技术和框架。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Taylor_29511

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值