深入探索Yuan2.0：使用LangChain进行高级语言交互

最新推荐文章于 2024-10-05 23:59:00 发布

afTFODguAKBF

最新推荐文章于 2024-10-05 23:59:00 发布

阅读量347

点赞数 3

文章标签： langchain 交互

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142373001

版权

深入探索Yuan2.0：使用LangChain进行高级语言交互

Yuan2.0是一款由IEIT系统开发的下一代基础大型语言模型。本文将指导您如何在LangChain中使用YUAN2 API进行语言模型交互。我们将涵盖API的基本使用、异步调用以及流媒体支持等高级功能。

引言

随着AI技术的发展，大型语言模型在自然语言处理中的应用越来越广泛。Yuan2.0作为一款新兴的语言模型，通过利用大量的优质训练数据和指令微调数据集，在语义理解、数学推理、代码文本等方面表现优异。本文旨在为开发者提供使用Yuan2.0模型的实用指导。

主要内容

安装

首先，Yuan2.0提供了一个兼容OpenAI的API。我们通过OpenAI客户端在LangChain中集成ChatYuan2。请确保您的Python环境中已安装openai包：

%pip install --upgrade --quiet openai

导入模块

安装完成后，导入必要的模块：

from langchain_community.chat_models import ChatYuan2
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

设置API服务器

您可以按照Yuan2 OpenAI API Server的说明配置API服务器。如果本地部署了API服务器，请设置yuan2_api_key为"EMPTY"或其它值，并确保yuan2_api_base正确配置。

yuan2_api_key = "your_api_key"
yuan2_api_base = "http://127.0.0.1:8001/v1"

初始化ChatYuan2模型

以下是初始化聊天模型的方法：

chat = ChatYuan2(
    yuan2_api_base="http://127.0.0.1:8001/v1",  # 使用API代理服务提高访问稳定性
    temperature=1.0,
    model_name="yuan2",
    max_retries=3,
    streaming=False,
)

基本使用

可以通过系统和人类消息调用模型：

messages = [
    SystemMessage(content="你是一个人工智能助手。"),
    HumanMessage(content="你好，你是谁？"),
]

print(chat.invoke(messages))

基本使用与流式传输

对于持续交互，使用流式传输功能：

from langchain_core.callbacks import StreamingStdOutCallbackHandler

chat = ChatYuan2(
    yuan2_api_base="http://127.0.0.1:8001/v1",  # 使用API代理服务提高访问稳定性
    temperature=1.0,
    model_name="yuan2",
    max_retries=3,
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()],
)
messages = [
    SystemMessage(content="你是个旅游小助手。"),
    HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
]

chat.invoke(messages)

高级特性

使用异步调用

import asyncio

async def basic_agenerate():
    chat = ChatYuan2(
        yuan2_api_base="http://127.0.0.1:8001/v1",  # 使用API代理服务提高访问稳定性
        temperature=1.0,
        model_name="yuan2",
        max_retries=3,
    )
    messages = [
        [
            SystemMessage(content="你是个旅游小助手。"),
            HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
        ]
    ]

    result = await chat.agenerate(messages)
    print(result)

asyncio.run(basic_agenerate())

使用提示模板

async def ainvoke_with_prompt_template():
    from langchain_core.prompts.chat import (
        ChatPromptTemplate,
    )

    chat = ChatYuan2(
        yuan2_api_base="http://127.0.0.1:8001/v1",  # 使用API代理服务提高访问稳定性
        temperature=1.0,
        model_name="yuan2",
        max_retries=3,
    )
    prompt = ChatPromptTemplate.from_messages(
        [
            ("system", "你是一个诗人，擅长写诗。"),
            ("human", "给我写首诗，主题是{theme}。"),
        ]
    )
    chain = prompt | chat
    result = await chain.ainvoke({"theme": "明月"})
    print(f"type(result): {type(result)}; {result}")

asyncio.run(ainvoke_with_prompt_template())

使用异步调用与流式输出

async def basic_astream():
    chat = ChatYuan2(
        yuan2_api_base="http://127.0.0.1:8001/v1",  # 使用API代理服务提高访问稳定性
        temperature=1.0,
        model_name="yuan2",
        max_retries=3,
    )
    messages = [
        SystemMessage(content="你是个旅游小助手。"),
        HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
    ]
    result = chat.astream(messages)
    async for chunk in result:
        print(chunk.content, end="", flush=True)

asyncio.run(basic_astream())