基于langchain的prompt指令代码编写

当然可以。LangChain 是一个用于构建语言模型应用的框架，它支持多种语言模型，并提供了一系列工具和链式结构来构建复杂的语言模型应用。在这个示例中，我们将使用 LangChain 和 Hugging Face 的 Transformers 库来创建一个简单的应用，其中模型可以调用外部函数来执行特定任务。
示例：使用 LangChain 和 Transformers 创建一个可以调用外部函数的聊天机器人
1. 安装必要的库：
•  LangChain (pip install langchain)
•  Hugging Face Transformers (pip install transformers)
•  Hugging Face Accelerate (pip install accelerate)
•  Faiss (pip install faiss-cpu) 用于向量存储和检索
2. 编写代码：
•  我们将创建一个简单的聊天机器人，当用户询问有关天气的问题时，机器人将调用一个外部函数来获取天气信息。
import os
import json
from typing import List, Dict
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from langchain import PromptTemplate, LLMChain
from langchain.chains import LLMChain
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.prompts import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")

# 创建一个管道
pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_length=200,
    temperature=0.7,
    top_p=0.95,
    top_k=50,
    repetition_penalty=1.05,
)

# 外部函数定义
def get_weather(city: str) -> str:
    # 这里只是一个示例，实际应用中应该调用真实的天气API
    return f"The weather in {city} is sunny today."

# LangChain 配置
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])
llm_chain = LLMChain(
    llm=pipeline,
    prompt=ChatPromptTemplate.from_messages([
        SystemMessagePromptTemplate.from_template(
            "You are a helpful assistant that can call external functions. If the user asks about the weather, call the get_weather function."
        ),
        HumanMessagePromptTemplate.from_template("{input}")
    ]),
    callback_manager=callback_manager,
)

# 主函数
def main():
    while True:
        query = input("Enter your query: ")
        if query.lower() == "exit":
            break
        
        # 检查是否询问天气
        if "weather" in query.lower():
            # 调用外部函数
            city = query.split(" ")[-1]  # 假设城市名是查询的最后一部分
            weather_info = get_weather(city)
            print(f"Weather Info: {weather_info}")
        else:
            # 生成回复
            response = llm_chain.run(query)
            print(f"Response: {response}")

if __name__ == "__main__":
    main()

说明：
1. 加载模型：我们使用 gpt2 作为示例模型。你可以根据需要替换为其他的预训练模型。
2. 外部函数：get_weather 函数用于获取指定城市的天气信息。这里我们只是简单地返回了一个固定的字符串，实际应用中应该调用真实的天气API。
3. LangChain 配置：我们创建了一个 LLMChain，它使用了预定义的提示模板。提示模板告诉模型如果用户询问天气，则调用 get_weather 函数。
4. 主函数：在主函数中，我们不断接收用户的输入，并根据输入决定是调用外部函数还是让模型生成回复。
注意事项：
•  这个示例假设用户总是按照特定格式输入查询（例如：“weather New York”）。实际应用中，你可能需要更复杂的逻辑来解析用户输入。
•  为了使模型真正能够调用外部函数，你需要使用支持函数调用的模型，如 Hugging Face 的某些版本的 GPT-3 或 GPT-4。
希望这个示例对你有所帮助！如果有任何疑问或需要进一步的帮助，请随时提问。