Linux安装Ollama+MaxKB打造本地知识库

马儿不会跑

已于 2024-08-13 16:24:37 修改

阅读量1k

点赞数 28

文章标签： linux 运维服务器人工智能

于 2024-08-13 16:14:03 首次发布

本文链接：https://blog.csdn.net/weixin_48636525/article/details/141163341

版权

1、在线安装

1：下载地址：https://ollama.com/download/linux
2：复制命令，粘贴到命令行执行即可，亲测失败，大家还是选下面的离线安装吧（下载国外资源一直超时，根本下不下来，所以还是用梯子，离线下载吧）
在这里插入图片描述

2、离线安装

1.下载地址：https://github.com/ollama/ollama/releases/
2.查看服务器CPU的型号

lscpu

在这里插入图片描述
3：根据CPU型号下载Ollama安装包

x86_64 CPU选择下载ollama-linux-amd64

aarch64|arm64 CPU选择下载ollama-linux-arm64

4.我已经下载好，放到百度网盘了，没梯子的自己拿（ollama-linux-amd64）

百度网盘链接：https://pan.baidu.com/s/1SiNJSZjD3dVLsEISQ8C99Q
提取码：olla
5.将下载的安装包保存到/home/Ollama目录
在这里插入图片描述
6.离线下载Linux环境的Ollama安装脚本，也保存到/home/Ollama目录
下载地址：https://github.com/ollama/ollama/blob/main/scripts/install.sh

7.需修改install.sh脚本（因为脚本里面包含了下载安装包的步骤，我们已经下载过了所以需要修改）
总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录

第一处修改，注释下载链接

status "Downloading ollama..."
## 在install.sh的第65行
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

第二处修改，修改ollama安装目录

## 在install.sh的第73行
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

8：运行 install.sh脚本 ,安装

# 执行installl.sh脚本，需要sudo 权限  chmod +x install.sh
./install.sh
# 如果报错误权限不足，执行
chmod +x install.sh

9：用ollama下载大模型并运行（ollama支持很多模型，可以自己去官网看）

# 需要先将大模型下载到OLLAMA_MODELS文件中
# ollama run <模型名称>
下载运行脸书公司的开源模型：ollama run llama3:8b
或者通义千问：ollama run qwen

10.可以愉快的聊天了
在这里插入图片描述

3.给大模型加个UI，用起来更体验更好（这里用国产开源的maxkb，也可以用国外开源的open_webui）

安装手册：https://maxkb.cn/docs/installation/online_installtion/
1 环境要求：
安装前请确保您的系统符合安装条件：

操作系统：Ubuntu 22.04 / CentOS 7 64 位系统；
CPU/内存：推荐 2C/4GB 以上；
磁盘空间：100GB；
浏览器要求：请使用 Chrome、FireFox、Edge等现代浏览器；
可访问互联网。
2 在线快速部署
MaxKB 支持一键启动，仅需执行以下命令：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

友情提示：社区版限制 1 个团队成员，5 个应用，50 个知识库。
安装成功后，可通过浏览器访问 MaxKB：

http://目标服务器 IP 地址:目标端口

默认登录信息
用户名：admin
默认密码：MaxKB@123…

3.MaxKB添加ollama
在这里插入图片描述
4.如果报这个错

先用看下你填写的api能不能ping通，如果ping不通，大概率是因为Ollama默认不支持外部访问
按以下步骤修改即可
Ollama在linux环境中如何支持外部或者宿主机通过IP访问其接口
1、首先停止ollama服务：systemctl stop ollama
2、修改ollama的service文件：/etc/systemd/system/ollama.service
在[Service]下边增加一行：Environment=“OLLAMA_HOST=0.0.0.0:8080”，端口根据实际情况修改
3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama