LangChain-v0.2 Ollama本地部署及调用

本文主要介绍如何本地部署Ollama 和 如何使用 LangChain 与Ollama 模型交互。

一、Ollama本地部署

1、打开github搜索Ollama，

或者使用访问下面链接进入Ollama：GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

2、下载Ollama 终端

本文使用的是Windows电脑，直接点击Windows下方的download下载。 

下载成功后，双击 OllamaSetup.exe 运行 Ollama即可。

3、命令行使用Ollama

1）打开cmd，输入ollama

出现以上显示，说明你本地 Ollama运行成功；

2）下载模型，Ollama支持非常多模型，可以去Ollama官网查看：https://ollama.com/library

本文使用的是阿里的千问，命令行执行：

ollama run qwen2:0.5b

模型下载成功后，即可开始AI对话：

到此本地部署完成，下面我们通过 LangChain 与 Ollama 模型进行交互。

二、LangChain 与Ollama 模型交互

1、LangChain Ollama 安装：

%pip install -qU langchain-ollama

 2、实例化模型对象，完成聊天功能

from langchain_community.chat_models import ChatOllama
ollama = ChatOllama(base_url='http://192.168.8.48:11434',model="qwen2")

from langchain_core.messages import HumanMessage, SystemMessage
content = "你好，你是谁？"
print("问："+content)
messages = [
    SystemMessage(content="你是一个情感小助手，你叫TT"),
    HumanMessage(content=content),
]
ollama.invoke(messages)

注意，这里的base_url我使用的是服务器的链接，如果使用本地部署的Ollama，直接不传参数base_url，因为构造方法里面base_url默认就是赋值本地链接。

即 ChatOllama(model="qwen2")。model 我选的的是qwen2，根据自己下载的模式编写即可。

到此完成了 LangChain 与 Ollama 模型交互。