简单聊天机器人

最新推荐文章于 2024-08-15 14:50:24 发布

波哥bogo

最新推荐文章于 2024-08-15 14:50:24 发布

阅读量104

点赞数 1

分类专栏： LLM LANGCHAIN 文章标签：机器人 python langchain

本文链接：https://blog.csdn.net/qq_39325964/article/details/140989925

版权

LLM 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

LANGCHAIN

4 篇文章 0 订阅

订阅专栏

环境：

本地部署的LLM：Qwen2-72B-Instruct-GPTQ-Int4

使用vllm启动提供服务，并且采用兼容OPENAI接口服务

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_community.chat_message_histories import ChatMessageHistory

openai_api_key = 'token-abc123'
openai_api_base = 'http://172.18.25.21:8000/v1'
mode_id = 'Qwen2-72B-Instruct-GPTQ-Int4'
chat = ChatOpenAI(api_key=openai_api_key, base_url=openai_api_base, model=mode_id)

prompt = ChatPromptTemplate.from_messages(
    [
        ('system', '你是一个全能性助手，尽你的最大能力回答'),
        MessagesPlaceholder(variable_name='messages'),
    ]
)

chain = prompt | chat
message_history = ChatMessageHistory()
while True:
    user_input = input('人：')
    if user_input == 'exit':
        break
    message_history.add_user_message(user_input)
    result = chain.invoke({
        'messages': message_history.messages,
    })
    ai_ret = result.content
    print(f'AI: {ai_ret}')
    message_history.add_ai_message(ai_ret)