大模型开发流程及架构

一、主要内容

● 以大语言模型为功能核心
● 利用大语言模型的强大理解能力和生成能力
● 结合特殊的数据或业务逻辑来提供独特功能的应用

二、明确目标

● 大模型作为一个调用工具 ，不需要知道太多的原理，不需要优化模型能力
● 需要掌握 Prompt Engineering、数据处理方法、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务

三、大模型开发与传统开发的区别

（一）传统开发

将非常复杂的业务拆解成小任务，每个任务构造训练数据、验证数据、测试数据，通过不断的调整参数训练模型，最终实现全流程的贯通完成业务。缺点是周期特别长，开发训练都很复杂，需要非常专业的背景。

（二）大模型开发

以大模型为中心，每个任务使用Prompt Engineering完成，模型评估也基本只需要通过bad case不断优化提示词完成，更简单、更轻松、成本低。

四、整体流程

确定目标、设计功能、搭建整体架构（推荐基于LangChain开发）、部署向量数据库、提示词工程、验证迭代（根据bad case优化提示词）、前后端搭建、体验优化

五、个人知识库问答助手项目

（一）整体流程

加载本地文档 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问题向量化 -> 匹配 top k 向量 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答

（二）技术框架

整体开发基于LangChain，向量库使用Chroma，前端使用streamlit