使用Ollama在本地部署一个类似openai的API做开发和测试
1、准备一个旧电脑
因为配置要求不高，五年前的电脑都能使用，装一块旧显卡，显存大一点的最好有8G。实在没显卡也没关系，电脑内存大也能运行，无非运行的慢一些不影响开发测试。在电脑上安装centos stream 9 服务器带界面版，装上显卡驱动，没有显卡的只装系统就行了。配置好能上网（本篇不用科学上网）。
2、安装ollama
随便一个目录下，执行如下命令：
# curl -fsSL https://ollama.com/install.sh | sh
显示如下：表示安装成功
>>> Downloading ollama...
######################################################################## 100.0%##O#-#
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.
查看ollama的状态
# systemctl status ollama
安装成功后执行ollama -v命令，查看版本信息，如果可以显示则代表已经安装好
# ollama -v
ollama version is 0.2.20
ollama安装完成后只能本机访问，如需外网访问，还要配置一下，或者使用代理转发来解决跨域访问问题。
cd到目录/etc/systemd/system下:vim ollama.service，在[Service]标签下添加如下两行并保存：
Environment="OLLAMA_HOST=:11434"
Environment="OLLAMA_ORIGINS=*"
这两行是解决其它电脑访问和跨域问题。注意版本号低于0.2.20的不支持IPv6，端口前面要加IP：0.0.0.0
重启服务：
# systemctl daemon-reload
# systemctl restart ollama.service
如不想修改服务器文件可设置代理。
3、加一个Qwen2模型测试
如果显卡大可以选个大模型。
# ollama pull qwen2:7b //拉取一个模型，7b是中型的需要6G显存，也可以拉1.5b或0.5b的2G显存够了。
测试运行：
$ ollama run qwen2
启动完毕，到此其实我们已经有了一个控制台对话界面，已可以与Qwen2-7B对话了，/bye 退出。
至此就部署完毕，下面测试。
4、测试接口：可以用POST工具
这里推荐apipost软件。
ollama提供openai一样的API接口：
http://192.168.0.1:11434/v1/chat/completions
调用方式也是一样的：POST，认证选Bearer可以填ollama或其它，其实并不验证，只是为了与接口格式相兼容。
{"Content-Type": "application/json", Authorization: "Bearer ollama" }
{
"model": "Qwen2-7B",
"messages": [
{
"role": "system",
"content": "你是一个智能机器人助手，请帮助回答问题。"
},
{
"role": "user",
"content":"你好"
}
],
"temperature": 0.8,
"top_p": 0.8,
"max_tokens": 1024,
"echo": false,
"stream": false, //如果是true会有吐字效果；否则所有字都生成才返回。
"repetition_penalty": 1.1
}
返回内容：跟据是否stream为true或false，格式有所不同，在开发时注意choices下面是message还是delta。
5、使用OpenWebUI测试
安装Open WebUI，可用三种方法：
第一种是使用docker，我本不喜欢docker这个命令就不推荐这个方法了。这种方式网上一搜有一堆都是这种方法安装的。
第二种是使用git：环境要求：Node.js >= 20.10 和 Bun >= 1.0.21 并且 Python >= 3.11，不会装环境的参考后面第6条。
使用如下命令安装：没git命令可以yum install git安装一个。
$ git clone https://github.com/open-webui/open-webui.git
$ cd open-webui/
# 复制一份 .env 目录和文件
$ cp -RPp .env.example .env
# 用node编绎前端
$ npm i
$ npm run build
# 安装后端所需包
$ cd ./backend
下面这步要注意了：！！！如果不使用国内源，一天可能都在装包，不是吓唬，是真的包很多很慢。
如果网速不好，一定换国内源，如下：
$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
安装包：
$ pip install -r requirements.txt -U
启动：
$ bash start.sh
运行不出错的话 http://localhost:8080/ ，但是不用科学上网的一定会出错😄
第一次启动会上huggingface网下载一点东西all-MiniLM-L6-v2：所以先指定一个镜像网站，再运行（也可以先魔搭上下载好，再把backend/apps/rag/utils.py里的第318行改成这样：embedding_model_repo_path = r'\下载目录\all-MiniLM-L6-v2'来运行。）：
$ HF_ENDPOINT=https://hf-mirror.com bash start.sh 这样就不会出错了。
浏览器输入http://localhost:8080/去访问吧。
第三种最简单：新版的openwebui已经做到python的包里面了，至少需要python3.11版本。
使用pip install open-webui 安装，装之前最好设置国内源。
安装完成使用： open-webui serve启动，同样第一次运行要加变量指定镜像网站：
$ HF_ENDPOINT=https://hf-mirror.com open-webui serve
以后直接运行$ open-webui serve就行了。
启动后到http://localhost:8080/访问，先注册一个用户，进去后设置中文，设置外网链接：关掉openai接口，只留ollama接口，修改ollama接口IP或在本机上不用修改。选一下模型Qwen2-7B:latest就可以愉快的通过web界面进行聊天对话了。
6、附：安装环境
安装miniconda3
使用conda管理python虚环境，python的版本很多很乱，conda是一个很好的虚拟环境管理工具，使用miniconda管理python版本已经够用了：
# cd /usr/local/src
# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -p /usr/local/miniconda3
回车后一堆license的信息，这个按enter建后必须yes才能继续，按空格键一次一页快一些。
验证安装
You can undo this by running `conda init --reverse $SHELL`? [yes|no]
[no] >>>
You have chosen to not have conda modify your shell scripts at all.
To activate conda's base environment in your current shell session:
eval "$(/usr/local/miniconda3/bin/conda shell.YOUR_SHELL_NAME hook)"
To install conda's shell functions for easier access, first activate, then:
conda init
跟据 提示：执行命令eval "$(/usr/local/miniconda3/bin/conda shell.bash hook)"创建环境
然后执行conda init
显示：
no change /usr/local/miniconda3/condabin/conda
no change /usr/local/miniconda3/bin/conda
no change /usr/local/miniconda3/bin/conda-env
no change /usr/local/miniconda3/bin/activate
no change /usr/local/miniconda3/bin/deactivate
no change /usr/local/miniconda3/etc/profile.d/conda.sh
no change /usr/local/miniconda3/etc/fish/conf.d/conda.fish
no change /usr/local/miniconda3/shell/condabin/Conda.psm1
no change /usr/local/miniconda3/shell/condabin/conda-hook.ps1
no change /usr/local/miniconda3/lib/python3.12/site-packages/xontrib/conda.xsh
no change /usr/local/miniconda3/etc/profile.d/conda.csh
modified /root/.bashrc
==> For changes to take effect, close and re-open your current shell. <==
可以查看/root/.bashrc文件备更改增加了环境参数如下：
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/usr/local/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/usr/local/miniconda3/etc/profile.d/conda.sh" ]; then
. "/usr/local/miniconda3/etc/profile.d/conda.sh"
else
export PATH="/usr/local/miniconda3/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda initialize <<<
个人不太喜欢进入系统的时候自动激活conda的base环境，因为会占用时间，切换节点会延迟，所以关掉自动激活base环境：
conda config --set auto_activate_base false
重启：# reboot
#设置conda镜像源
# conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
# conda config --set show_channel_urls yes
#最好安装完重启一下系统
创建python虚环境：
# conda create -n python311 python=3.11（如果精确到子版本可用两个等号如：==3.10.6，否则是大版本的最新子版本。）
# conda env list 显示创建的环境。
进入和退出python虚环境，进入后命令提示符前面显示虚环境名称：
# conda activate python311
如果退出使用：# conda deactivate
#在py311环境下设置pip镜像源
# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
安装node ：
linux自带的node.js版本有些老了，不够用的，网上查了一下node也象python一样版本很多情况复杂，也有象conda 这样的版本管理的软件nvm来管理版本。
先装nvm
$ curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash
安装node.js 20的最新子版本
$ nvm install 20
node -v # 显示版本号：`v20.15.1`
npm -v # 显示版本号： `10.7.0`，npm是node带的包管理器命令，就象python里的pip一样。
安装Bun：
Open WebUI用到了bun命令，Bun是和node差不多的框架。
# 下载安装脚本并开始安装
curl -fsSL https://bun.sh/install | bash
# 刷新环境变量
source /home/username/.bashrc
# 查看是否安装成功
bun --help
bun -v 显示1.1.1
7、ollama命令说明，更新和清除
ollama的操作命令跟docker操作命令非常相似：
ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama cp # 复制模型
ollama rm # 删除模型
ollama help # 获取有关任何命令的帮助信息
更新和安装一样再执行一遍命令：
# curl -fsSL https://ollama.com/install.sh | sh
卸载Ollama：
停止并禁用服务
systemctl stop ollama
systemctl disable ollama
删除服务文件和Ollama二进制文件
rm /etc/systemd/system/ollama.service
rm $(which ollama)
清理Ollama用户和组
rm -r /usr/share/ollama
userdel ollama
groupdel ollama
8816
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
