书生·浦语大模型实战营笔记系列
3)基于 InternLM 和 LangChain 搭建知识库笔记和作业
文章目录
前言
1. 大模型(LLM)的局限性
2. 针对局限提出的改进方法 RAG vs Finetune
3. RAG方案的优化建议
然后这节课主要针对RAG提出了LangChain,可以通过LangChain开发一款RAG应用,下节课再讲finetune
一、RAG与LangChain
RAG
用户的输入首先经过Sentence Transformer向量化然后在Chroma向量数据库中匹配相似文本段,接着文本向量化得到的向量和匹配得到的相似文本段一起嵌入到prompt中输入到InterLM中,InterLM会输出最终的回答。
LangChain
基于LangChain来搭建RAG应用
二、基于LangChain搭建RAG应用
以下是通用的搭建RAG应用的流程
1.构建向量数据库
2.将InternLM接入LangChain
3.构建检索问答链
三、实战环节(搭建知识库助手)
这里的知识库助手也是RAG应用,搭建完源文件里也会教web demo的部署
source:配置教程文档来源
source:环境配置视频来源
四、作业
总结
主要讲了如何从零搭建一款基于LangChain的RAG应用。