《向量数据库指南》——无需 OpenAI 即可搭建 RAG 应用（二）

ChatGPT 在 2023 年将 AI 这一火热概念推至新高度。而如今开发人员有了更多的选择，不再局限于 OpenAI。

在本系列的前两篇文章内我们介绍了如何通过 OpenAI 之外的大语言模型（LLM）来构建检索增强生成（RAG）应用。本文将使用 BentoML 、OctoAI、Milvus 向量数据库搭建 RAG 应用。

01

使用BentoML生成Embedding向量

我们可以使用 BentoML 的Sentence Transformers Embeddings将句子转换为 Embedding 向量。在 BentoML 的 GitHub 代码仓库中可以看到 service.py 文件。这个文件主要用于启动服务器并设置 API Endpoint。通过 API Endpoint，能够加载 HuggingFace 的 all-MiniLM-L6-v2 模型，利用这个模型来生成向量。

我们需要先导入 bentoml 并使用 SyncHTTPClient 原生对象类型启动一个 HTTP 客户端。

<