技术栈
集成工具
- LangChain
部署
- Streamlit
- Gradio (on Hugging Face)
向量数据库
- Pinecone (云数据库,付费 70$/月,免费试用需要资格)
- Qdrant (开源,自己部署)
- FAISS(未了解)
- chroma(本地,轻量,用法与FAISS相似)
Embedding 引擎(向量化)
- OpenAI Embedding
- text2vec(需要自己部署,可以根据场景进行微调)
- 目前有两种向量化方式,需要实验对比效果,1是整个句子进行向量化,2是提取关键词进行向量化
LLM API(大型语言模型)
- OpenAI (gpt-3.5-turbo,可直接调用,需要 token)
- ChatGLM (GPT 3,需要自己部署,吃显存最少6g以上)
UI 界面
- LangFlow
- 自己网上找到一套代码(已做一定的修改)
- gradio
外部知识 API
- SerpApi(谷歌,每月免费100次,后面需要收费)
- Wikipedia API
后端 API 开发
- Django
- FastAPI
- lanarky(主要提供流式返回)
其他
GPTCache 语义缓存节省开销
https://github.com/zilliztech/GPTCache