超短代码实现!!基于langchain+chatglm3+BGE+Faiss创建拥有自己知识库的大语言模型(准智能体)本人python版本3.11.0(windows环境篇)

前言

众所周知,大语言模型在落地应用时会遇到各种各样的问题。而其中模型的“致幻性”是非常可怕。目前主流之一的玩法就是通过知识库对回答范围进行限制。再通过限制性语言使其成为自己的专属“智能体”,如果有条件微调大模型,那效果会更好~
在这里插入图片描述

注意

  1. 本项目对显存消耗非常大!!最好能22g以上~
    因为这个是glm+Embedding 显存肯定比单个glm耗得猛。
  2. 万不得已也得至少12G(含)显存以上。
    但这也就意味着你得先把程序分成2段运行。先用embedding+faiss生成prompt。然后在单独运行glm,并把prompt输入。(非常恼火,深刻感受到玩大模型穷就是原罪~~ヾ(。`Д´。)ノ彡)

项目介绍

  1. 本来想等langchain-ChatChat大佬们的0.3.0版本。等待是折磨的,那不如在等待的时候,自己来瞎折腾玩玩。
  2. 本项目只求跑起来细节不会讲太多,后期里面组件细节(也许 o(TωT)o )会单独整几个文章单独讲解~
  3. 为了快速跑通,目前大家比较喜欢的就是用langchain来把Embedding模型和向量数据库和LLM模型串联起来。借用清华的图片,就像下面这样:
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值