基于LangChain调用本地部署（Ollama）的大模型Qwen(2)

概要

在现代软件开发中，大语言模型（LLM）的应用越来越广泛，尤其是在自然语言处理（NLP）任务上。然而，对于一些对数据安全和响应速度有较高要求的应用场景，将模型部署在本地成为了一种常见的选择。本文将详细介绍如何使用LangChain框架来调用本地部署的Ollama大模型，具体来说是如何调用Qwen模型。

LangChain简介
LangChain是一个开源框架，旨在帮助开发者更容易地与语言模型进行交互。它提供了一系列工具和服务，使得开发者可以构建出复杂且功能丰富的应用。

Ollama简介
Ollama是一个允许用户在本地运行多种大型语言模型的服务平台。通过Ollama，开发者可以轻松地加载和运行不同的模型，而无需关心底层的技术细节。

整体架构流程

接下来，我们将展示如何使用LangChain中的Ollama类来创建一个模型实例，并通过它来获取Qwen模型的响应。

from langchain.llms import Ollama
from langchain.prompts import ChatPromptTemplate
from langchain.output_parsers import StrOutputParser

def get_response_from_qwen(prompt_text):
    # 创建 Ollama 实例
    llm = Ollama(model="qwen:7b"）
    
    # 定义提示模板
    prompt = ChatPromptTemplate.from_template(prompt_text)
    
    # 创建输出解析器
    output_parser = StrOutputParser()
    
    # 构建请求链
    chain = prompt | llm | output_parser
    
    # 执行请求
    result = chain.invoke({"input": "根据下面主题写一个广告：康师傅绿茶"})
    print(result)
    return result

if __name__ == "__main__":
    fun()

Ollama 是一个假设性的类名，在真实的环境中，它的具体实现细节会有所不同。不过，基于你提到的一些常见参数，我可以给你一个通用的解释，并假设 Ollama 是一个可以接受这些参数的模型加载器或生成器。以下是可能的支持配置参数及其简要介绍：

model (str): 指定要加载的语言模型的名字或者路径。例如 “qwen:7b” 可能是指向一个名为 Qwen 的模型，该模型具有 70 亿个参数。
max_token (int): 生成文本的最大长度（以 token 计）。当生成的文本达到这个长度时，生成过程就会停止。
do_sample (bool): 如果设置为 True，则在生成过程中采用随机采样，这通常会使生成的文本更加多样化；如果设置为 False，则会选取最有可能的下一个 token（即 argmax），这样可以得到更确定的结果。
temperature (float): 控制生成文本的随机性程度。温度值越高，生成的文本越随机；温度值越低，生成的文本越倾向于高概率的词。当 temperature=0 时，总是选择概率最高的词。
top_p (float): 核采样（Nucleus Sampling）的阈值。选择累计概率达到 top_p 的词汇作为候选词。通常与 temperature 结合使用，以进一步提高生成文本的质量。

小结

通过以上步骤，我们成功地使用LangChain框架调用了本地部署的Ollama大模型Qwen。这种方式不仅提高了应用的安全性和响应速度，也为开发者提供了更多的灵活性。未来，随着更多模型的支持和技术的进步，这种方式将会变得更加普遍和高效。