基于大模型的系统搭建—千帆大模型（1）

概要

随着人工智能技术的进步，越来越多的企业和个人开发者开始利用大型语言模型（LLM）来构建自己的智能应用。千帆大模型（Qianfan LLM）因其出色的性能和丰富的功能，在众多模型中脱颖而出。本文将介绍如何使用 Python 代码调用千帆大模型，并演示几个具体的使用场景。

整体架构流程

一、环境配置
首先，确保您的开发环境中已安装了必要的库：

pip install langchain-community langchain-core

然后设置千帆大模型的 API 密钥，以便能够访问其服务：

import os
os.environ['QIANFAN_AK'] = "YOUR_ACCESS_KEY"
os.environ['QIANFAN_SK'] = "YOUR_SECRET_KEY"

（获取方式可以参考其他博文）
替换上述代码中的 YOUR_ACCESS_KEY 和 YOUR_SECRET_KEY 为您实际获取到的密钥。

接下来，我们将创建一个 QianfanLLMEndpoint 实例：

from langchain_community.llms import QianfanLLMEndpoint
llm = QianfanLLMEndpoint(model="Yi-34B-Chat")

二、基础问答
让我们从一个简单的问答开始。假设我们想要让模型给我们讲一个笑话：

question = "给我讲个笑话"
response = llm(question)
print(response)

聊天式问答是一种更高级的问答形式，它允许用户与模型进行多轮对话，而不仅仅是单次提问和回答。在聊天模式下，模型会考虑上下文信息，从而使得对话更加自然流畅。这对于需要连续提问、解释复杂概念或是进行指导的任务特别有用。

聊天式问答的特点
上下文理解：模型能够理解之前对话的历史信息，因此可以提供更连贯的回答。
互动性：用户可以根据前一轮的回答继续提问或请求更多信息。
个性化：基于用户的输入，模型能够调整其回答风格，甚至学习用户的偏好。

如何实现聊天式问答
为了实现聊天式问答，你需要保持对话的历史记录，并将其传递给模型，以便它能够在生成新的回答时考虑到之前的上下文。以下是使用千帆大模型实现聊天式问答的一个简化示例：

import os
from langchain_community.llms import QianfanLLMEndpoint

# Yi-34B-Chat
# ERNIE-Tiny-8K
# 设置环境变量以存储API密钥
os.environ['QIANFAN_AK'] = 
os.environ['QIANFAN_SK'] = 

# 创建QianfanLLMEndpoint实例
llm = QianfanLLMEndpoint(model="ERNIE-Tiny-8K")
# 创建一个列表来保存对话历史
conversation_history = []
def chat_with_model(user_input):
    # 将用户的输入添加到历史记录中
    conversation_history.append(f"User: {user_input}")

    # 构造带有上下文的消息
    context = "\n".join(conversation_history)

    # 询问模型
    response = llm(context)

    # 将模型的回答添加到历史记录中
    conversation_history.append(f"Model: {response}")

    return response


# 开始聊天
while True:
    user_input = input("你: ")
    if user_input.lower() in ["exit", "quit"]:
        break
    response = chat_with_model(user_input)
    print(f"模型: {response}")

这段代码提供了一个基础的交互界面，允许用户与模型进行多轮对话。当用户输入特定的退出命令（如exit或quit）时，程序会终止运行。在实际部署时，你可能还需要考虑如何清理或保存对话历史，以及如何处理长时间没有活动的会话。

小结

通过上述步骤，你已经成功地构建了一个基本的问答系统，它可以向千帆大模型提出问题并接收答案。当然，实际的应用可能会更复杂，涉及到更多的逻辑处理、错误检查以及用户体验优化等方面。但是，上述流程为你提供了一个良好的起点，你可以在此基础上进一步扩展功能，例如加入用户界面、持久化数据存储等特性，以满足更广泛的应用需求。