掌握Databricks Lakehouse平台的嵌入模型：从基础到实践

stjklkjhgffxw

于 2024-10-02 23:10:58 发布

阅读量269

点赞数 3

文章标签： python 开发语言

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142686697

版权

掌握Databricks Lakehouse平台的嵌入模型：从基础到实践

引言

Databricks Lakehouse平台整合了数据、分析和AI，为开发者和数据科学家提供了一个统一的平台。这篇文章旨在帮助你快速入门Databricks的嵌入模型，特别是如何在LangChain应用中使用这些模型。我们将探讨如何利用Databricks Embeddings类来包装你的服务端点。

主要内容

什么是Databricks Embeddings？

DatabricksEmbeddings类封装了一个嵌入模型端点，该端点托管在Databricks Model Serving上。它支持所有的Embeddings类方法，包括异步API。

端点要求

为了兼容，服务端点必须具有OpenAI兼容的输入/输出格式。

基础模型：例如BAAI General Embedding (BGE)，无需设置即可在Databricks工作区使用。
自定义模型：通过MLflow可以部署自定义嵌入模型。
外部模型：Databricks也可以作为代理服务外部托管的模型。

设置步骤

若要访问Databricks模型，需创建Databricks账户，设置凭证，并安装所需的软件包。

设置凭证

除非你在Databricks工作区内运行LangChain应用，否则需要手动设置Databricks的工作区主机名和个人访问令牌。

import getpass
import os

os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
os.environ["DATABRICKS_TOKEN"] = getpass.getpass("Enter your Databricks access token: ")

安装

需要安装langchain-community和mlflow库。

%pip install -qU langchain-community mlflow>=2.9.0

代码示例

以下是查询BGE模型的示例代码：

from langchain_community.embeddings import DatabricksEmbeddings

# 创建Databricks Embeddings实例
embeddings = DatabricksEmbeddings(
    endpoint="databricks-bge-large-en",
    # 使用API代理服务提高访问稳定性
)

# 嵌入单个文本
embedding = embeddings.embed_query("hello")[:3]
print(embedding)

# 嵌入多个文档
documents = ["This is a dummy document.", "This is another dummy document."]
response = embeddings.embed_documents(documents)
print([e[:3] for e in response])  # 显示每个嵌入的前3个元素