本地安装Ollama+WebUI

本地安装Ollama+WebUI

B站教程地址：https://www.bilibili.com/video/BV1Kz421h7Jk/?spm_id_from=333.337.search-card.all.click&vd_source=42b07826977d09765ec11b9fa06715e5

一、下载Ollama

https://ollama.com/download 支持mac、linux、windows

选择在ubuntu下安装

odoo@odoo-pc:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
[sudo] odoo 的密码： 
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%######################################################################### 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.


从上面的安装过程发现两点：
1、api的端口号是11434
2、没有检测到显卡，Ollama运行在cpu模式下

安装第一个大模型： 其实这一步可用不用做，后面通过webui来安装。

odoo@odoo-pc:~$ ollama run llama3
pulling manifest 
pulling 6a0746a1ec1a... 100% ▕████████████████▏ 4.7 GB                         
pulling 4fa551d4f938... 100% ▕████████████████▏  12 KB                         
pulling 8ab4849b038c... 100% ▕████████████████▏  254 B                         
pulling 577073ffcc6c... 100% ▕████████████████▏  110 B                         
pulling 3f8eb4da87fa... 100% ▕████████████████▏  485 B                         
verifying sha256 digest 
writing manifest 
success 
>>> Send a message (/? for help)

到这里就可以向大模型提问了，进行交互了，不过只能在本地终端进行，下面，我们需要安装WebUI，可用通过web界面进行交互。

二、安装WebUI

https://docs.openwebui.com

因为我的机器没有GPU，所以找了一个不需要GPU命令进行安装：

For CPU Only: If you're not using a GPU, use this command instead:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

odoo@odoo-pc:~$ sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
[sudo] odoo 的密码： 
Unable to find image 'ghcr.io/open-webui/open-webui:ollama' locally
ollama: Pulling from open-webui/open-webui
a2318d6c47ec: Pull complete 
334af29dc78e: Pull complete 
d534b3df1e9e: Pull complete 
95b5b248c442: Pull complete 
98d167576f7c: Pull complete 
ac786ed3fe21: Pull complete 
4f4fb700ef54: Pull complete 
0b3cbd1796a0: Pull complete 
08dcfffb691a: Pull complete 
290e855a01d4: Pull complete 
da884a0397a7: Pull complete 
46fe1a8da679: Pull complete 
6497c5d13491: Pull complete 
2e2171744e6b: Pull complete 
8558874c3ff3: Pull complete 
15f64213e6de: Pull complete 
Digest: sha256:b70396e243682d7e93fc426b5aa6ade41c2240e5559aa00301dbdcf8e520235b
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:ollama
ba2b5958578f44030936768b324f451ecce00865047fc53e158ce84c616e91e1

安装完成后打开地址

http://127.0.0.1:3000/

注册一个账号，账号会保存在本地而不是云端，第一个注册的账号会成为管理员。

进入界面后，选择左下角的头像进入设置菜单，通用里面可用选择语言，默认会跟操作系统的语言保持一致。

选择管理员设置：

会出现模型的设置。

注意： Ollama是一个管理平台，它可用管理很多模型，像开源的llama3， chatgpt等

从ollama.com选取一个模型，然后输入模型的名称，就可以进行下载。下载速度还是比较快的。

可用多安装几个模型，获取更多元化的回答。

注册了一个账号：

fatux 156277468@qq.com 密码是最复杂的

三、使用技巧

1、模型

可用安装别人训练好的agent

2、提示词

3、指定检索文件

在让大模型回答问题之前可用指定文件，不过这样有个缺点，大模型需要经过检索和回答两个步骤，可能需要的时间会变长。

四、微调模型

让AI将特定领域的知识，内化整合成模型的一部分，而这种让语言模型在原有知识的基础上进行额外训练的过程被称为模型微调。fine-tuning

要微调模型，我们要准备一些问答的范例协助AI进行学习，其中一种常见的格式叫Json

格式类似于QA，有问有答

可用通过chatgpt转换成JSON格式的文本。

https://unsloth.ai/ 训练和微调语言模型的工具