笔记根据20231119日学习整理,参考DataWhale社区的学习资料
1. 大模型开发流程 (datawhalechina.github.io)https://datawhalechina.github.io/llm-universe/#/C3/1.%20%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BC%80%E5%8F%91%E6%B5%81%E7%A8%8B今天主要是学习大模型开发的流程和架构。基于学习整理一些观点和流程可供参考:
一、大模型开发是一个工程问题
基于大模型底座(API或者开源模型)使用Prompt工程解决业务问题
二、传统AI开发和大模型AI开发的区别
传统AI开发:拆解业务+子业务训练数据和验证数据+整合模型链路
大模型AI开发:大模型底座+若干个prompt业务
1)实现效果:将传统的模型训练调优转变成了更简单、轻松、低成本的 Prompt 设计调优
2)大模型封装了机器学习的过程(预训练模型)+业务通过prompt
补充:机器学习的流程
1、获取数据(样本和特征,行列)
2、数据基础处理(预处理)
3、特征工程
***数据和特征决定了机器学习的上限,模型和算法只是逼近上限而已。
特征提取、特征预处理、特征降维
4、模型训练
5、评估模型
三、大模型开发的整体流程
这个开发流程我是结合项目管理实践的内容来重新梳理了下,可以对比教程来一起看
1、需求(业务痛点或者idea,可以出一个简单的需求说明)
基于大模型的个人知识库助手
2、设计(功能设计+架构设计(技术架构和数据架构))
1)功能设计:上传文档、创建知识库;
选择知识库,检索用户提问的知识片段;
提供知识片段与提问,获取大模型回答;
流式回复;
历史对话记录
2)技术架构:
Langchain+Chroma知识库+前后端使用 Gradio 和 Streamlit
3、环境搭建(服务器和数据库)
Chroma知识库
4、开发(核心功能开发+前后端开发)
Embdding API 的调用及封装、Langchain调用API+
5、测试(开发测试+用户测试)
6、上线