OLLAMA部署qwen:7b,与fastgpt集成
ollama是什么?
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。
安装
安装ollama
此处是在centos7.6,有一张古老的GTX 1180Ti 11G的显卡,配置和驱动如下:
下载并安装
使用root或者有sudo权限的用户
curl -fsSL https://ollama.com/install.sh | sh
安装好后,执行:service ollama stop 停止服务。
默认是绑定在127.0.0.1的IP,若需要绑定到指定IP,那么采用如下:
export OLLAMA_HOST=xx.xx.xx.71:11434 //这样会启动在指定IP上
ollama serve & //注意,不要用service ollama start来启动,这样环境变量不生效
运行qwen:7b
ollama run qwen:7b
注:第一次运行会下载模型,这个模型有4G多。
成功后ÿ