动手学大模型应用开发-03

笔记根据20231119日学习整理，参考DataWhale社区的学习资料

1. 大模型开发流程 (datawhalechina.github.io)https://datawhalechina.github.io/llm-universe/#/C3/1.%20%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BC%80%E5%8F%91%E6%B5%81%E7%A8%8B今天主要是学习大模型开发的流程和架构。基于学习整理一些观点和流程可供参考：

一、大模型开发是一个工程问题

基于大模型底座（API或者开源模型)使用Prompt工程解决业务问题

二、传统AI开发和大模型AI开发的区别

传统AI开发：拆解业务+子业务训练数据和验证数据+整合模型链路
大模型AI开发：大模型底座+若干个prompt业务
1）实现效果:将传统的模型训练调优转变成了更简单、轻松、低成本的 Prompt 设计调优

2）大模型封装了机器学习的过程（预训练模型）+业务通过prompt

补充：机器学习的流程
1、获取数据（样本和特征，行列）
2、数据基础处理（预处理）
3、特征工程
***数据和特征决定了机器学习的上限，模型和算法只是逼近上限而已。
特征提取、特征预处理、特征降维
4、模型训练
5、评估模型

三、大模型开发的整体流程

这个开发流程我是结合项目管理实践的内容来重新梳理了下，可以对比教程来一起看

1、需求（业务痛点或者idea，可以出一个简单的需求说明）
基于大模型的个人知识库助手
2、设计（功能设计+架构设计（技术架构和数据架构））
1）功能设计：上传文档、创建知识库；
选择知识库，检索用户提问的知识片段；
提供知识片段与提问，获取大模型回答；
流式回复；
历史对话记录
2）技术架构：
Langchain+Chroma知识库+前后端使用 Gradio 和 Streamlit
3、环境搭建（服务器和数据库）
Chroma知识库
4、开发（核心功能开发+前后端开发）
 Embdding API 的调用及封装、Langchain调用API+
5、测试（开发测试+用户测试）
6、上线