RAG ( 检索增强生成,Retrieval-Augmented Generation)
使prompt变得”通俗易懂“的方法,比如“尖峰熵有多大” ->“尖峰熵是xxx,该句的某token的logit是xxx,尖峰熵有多大”,这样来扩充prompt
其工作流程大致为:
- 数据处理
- 对原始数据进行清洗和处理
- 处理后的数据转换为检索模型可以使用的格式
- 存储在数据库中
- 检索阶段
- 用用户输入的prompt在数据库检索相关信息
- 增强阶段
- 使相关信息与prompt“融合”,对其增强
- 生成阶段
- 将增强后的prompt输入语言模型,生成答案