上一篇里,树先生教大家利用 ChatGLM-6B + langchain 实现个人专属知识库,实际运行下来,发现2个问题:
1、购买的 16G 显存的 GPU 云服务,在 FP16 精度下,多轮对话到第二轮,显存就爆了,无奈只能上 INT4 量化;
2、GPU 云服务也是一笔不小的开销啊,普通个人玩家也耗费不起~
那么有没有其他解决方案呢?
今天,树先生教大家一种使用远端模型(OpenAI)构建个人知识库的解决方案—— Quivr。
Quivr 介绍
Quivr 是一款使用生成 AI 技术来存储和检索非结构化信息的“第二大脑”,可以将其视为 Obsidian 的增强版,并且具备更强的人工智能功能。
Quivr 可以处理几乎所有类型的数据,包括文本、图像、代码片段等。它采用先进的人工智能技术来帮助您生成和检索信息。同时,它还专注于速度和效率,确保您可以快速访问数据。您的数据安全由您掌控,Quivr 支持多个文件格式,包括文本、Markdown、PDF、PowerPoint、Excel、Word、音频、视频等。
从介绍上来看,支持的文件格式还算比较丰富,毕竟自诩为“第二大脑”呢!
再来看一段官方放出的 Demo 视频:
Quivr Demo
看起来还不错,是骡子是马,拉出来溜溜,开干!
实战
Quivr 和我们之前介绍的其他知识库方案一样,本质上都是基于 Prompt 与大模型交互来的,Quivr 用到的主要技术有:
-
LLM:GPT3.5 / GPT 4
-
Embedding:OpenAI embedding
-
向量知识库:Supabase
准备工作
- 海外节点云服务(项目需要与