本文主要介绍如何本地部署Ollama 和 如何使用 LangChain 与Ollama 模型交互。
一、Ollama本地部署
1、打开github搜索Ollama,
或者使用访问下面链接进入Ollama:GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.
2、下载Ollama 终端
本文使用的是Windows电脑,直接点击Windows下方的download下载。
下载成功后,双击 OllamaSetup.exe 运行 Ollama即可。
3、命令行使用Ollama
1)打开cmd,输入ollama
出现以上显示,说明你本地 Ollama运行成功;
2)下载模型,Ollama支持非常多模型,可以去Ollama官网查看:https://ollama.com/library
本文使用的是阿里的千问,命令行执行:
ollama run qwen2:0.5b
模型下载成功后,即可开始AI对话:
到此本地部署完成,下面我们通过 LangChain 与 Ollama 模型进行交互。
二、LangChain 与Ollama 模型交互
1、LangChain Ollama 安装:
%pip install -qU langchain-ollama
2、实例化模型对象,完成聊天功能
from langchain_community.chat_models import ChatOllama
ollama = ChatOllama(base_url='http://192.168.8.48:11434',model="qwen2")
from langchain_core.messages import HumanMessage, SystemMessage
content = "你好,你是谁?"
print("问:"+content)
messages = [
SystemMessage(content="你是一个情感小助手,你叫TT"),
HumanMessage(content=content),
]
ollama.invoke(messages)
注意,这里的base_url我使用的是服务器的链接,如果使用本地部署的Ollama,直接不传参数base_url,因为构造方法里面base_url默认就是赋值本地链接。
即 ChatOllama(model="qwen2")。model 我选的的是qwen2,根据自己下载的模式编写即可。
到此完成了 LangChain 与 Ollama 模型交互。