前言
众所周知,大语言模型在落地应用时会遇到各种各样的问题。而其中模型的“致幻性”是非常可怕。目前主流之一的玩法就是通过知识库对回答范围进行限制。再通过限制性语言使其成为自己的专属“智能体”,如果有条件微调大模型,那效果会更好~
注意
- 本项目对显存消耗非常大!!最好能22g以上~
因为这个是glm+Embedding 显存肯定比单个glm耗得猛。 - 万不得已也得至少12G(含)显存以上。
但这也就意味着你得先把程序分成2段运行。先用embedding+faiss生成prompt。然后在单独运行glm,并把prompt输入。(非常恼火,深刻感受到玩大模型穷就是原罪~~ヾ(。`Д´。)ノ彡)
项目介绍
- 本来想等langchain-ChatChat大佬们的0.3.0版本。等待是折磨的,那不如在等待的时候,自己来瞎折腾玩玩。
- 本项目只求跑起来细节不会讲太多,后期里面组件细节(也许 o(TωT)o )会单独整几个文章单独讲解~
- 为了快速跑通,目前大家比较喜欢的就是用langchain来把Embedding模型和向量数据库和LLM模型串联起来。借用清华的图片,就像下面这样: