探索ChatLlamaCpp：轻松集成Llama Cpp Python的聊天模型

qq_37836323

于 2024-09-30 21:50:35 发布

阅读量161

点赞数 2

文章标签： python llama 人工智能

本文链接：https://blog.csdn.net/qq_29929123/article/details/142664416

版权

引言

在人工智能领域，集成强大的语言模型是实现智能聊天应用的重要步骤。本文将带你了解如何使用ChatLlamaCpp，结合llama-cpp-python，快速启动并配置本地模型，为你提供高性能的聊天体验。

主要内容

集成详情和模型特性

ChatLlamaCpp是langchain-community提供的包，支持本地模型运行，具备工具调用和结构化输出的能力。为了充分利用这些特性，建议使用经过工具调用微调的模型，比如NousResearch的Hermes-2-Pro-Llama-3-8B-GGUF。

安装步骤

首先，确保安装langchain-community和llama-cpp-python：

%pip install -qU langchain-community llama-cpp-python

实例化模型

您可以这样实例化并生成聊天响应：

# 选择模型权重的本地路径
local_model = "local/path/to/Hermes-2-Pro-Llama-3-8B-Q8_0.gguf"

import multiprocessing
from langchain_community.chat_models import ChatLlamaCpp

llm = ChatLlamaCpp(
    temperature=0.5,
    model_path=local_model,
    n_ctx=10000,
    n_gpu_layers=8,
    n_batch=300,
    max_tokens=512,
    n_threads=multiprocessing.cpu_count() - 1,
    repeat_penalty=1.5,
    top_p=0.5,
    verbose=True,
)

调用API

以下是如何通过API调用模型以生成翻译：

messages = [
    ("system", "You are a helpful assistant that translates English to French. Translate the user sentence."),
    ("human", "I love programming."),
]

ai_msg = llm.invoke(messages)
print(ai_msg.content)

工具调用功能

通过bind_tools，你可以将工具（函数）绑定到模型，使其返回结构化的JSON数据。例如：

from langchain.tools import tool
from langchain_core.pydantic_v1 import BaseModel, Field

class WeatherInput(BaseModel):
    location: str = Field(description="The city and state, e.g. San Francisco, CA")
    unit: str = Field(enum=["celsius", "fahrenheit"])

@tool("get_current_weather", args_schema=WeatherInput)
def get_weather(location: str, unit: str):
    return f"Now the weather in {location} is 22 {unit}"

llm_with_tools = llm.bind_tools(
    tools=[get_weather],
    tool_choice={"type": "function", "function": {"name": "get_current_weather"}},
)

ai_msg = llm_with_tools.invoke("what is the weather like in HCMC in celsius")
print(ai_msg.tool_calls)