前提条件:需要有chatgpt的api-key,需要能访问chatgpt
一 、RAG是什么?
RAG检索增强生成。在实际案例使用中,把用户提问的问题传递给大模型,大模型基于用户的提问在向量数据库中进行检索,将检索到信息返回给用户。主要的应用场景有:智能客服和智能知识库。
RAG解决了什么问题:1.大模型中是没有你的私有化数据的,通过RAG可以将你的私有化数据给到大模型 2. RAG可以减少大模型产生幻觉,因为大模型回答的内容被局限到“用户提问范围内了”
二 、milvus向量数据库安装
实验环境:VMware虚拟机或者云服务器,服务器内提前安装好docker环境,milvus向量数据库在docker环境下安装比较方便。
1.验证docker环境
2.下载需要的yaml文件
详细步骤可以访问milvus官网:
https://milvus.io/docs
yaml文件中有etcd、milvus-minio、milvus-db/milvus:v2.3.12 镜像,我们先下载这3个镜像。直接使用docker pull 镜像名称xxx 下载即可
quay.io/coreos/etcd:v3.5.5
minio/minio:RELEASE.2023-03-20T20-16-18Z
milvusdb/milvus:v2.3.12
wget https://github.com/milvus-io/milvus/releases/download/v2.3.12/milvusstandalone-docker-compose.yml -O docker-compose.yml
可以看到相关的镜像已经下载好了
3.启动milvus相关的容器
4. 启动attu
attu是milvus的一款图形化管理工具,方便对milvus进行管理
docker run -d --name=attu -p 8000:3000 -e MILVUS_URL=192.168.230.71:19530 zilliz/attu:v2.3.9
5.检查容器启动状态
docker ps
docker compose ps
三 、测试milvus数据库访问
四、python脚本通过测试RAG和milvus数据库检索用户的提问(需要rag代码请评论区留言)
将文档进行向量化并存入向量数据库
可以看到已经存入向量数据库中
测试用户提问