Ollama拉起本地模型以及rag系统部署。

什么是 Ollama ？

Ollama 是一个简明易用的本地大模型运行框架。能在本地启动并运行 Llama、qwen、Gemma 及其他大语言模型，没有GPU资源照样可以拉起模型，和LocalAI 比较类似，但是加载模型更容易。

1.安装

安装后运行，执行：http://127.0.0.1:11434/，返回：Ollama is running表示成功

2.拉取模型：

3.运行模型

ollama run qwen2（mac电脑加载的7b），执行后开始提问，如下图：

4.open-webui，更加方便web方式提问。

什么是 Open WebUI ？
Open WebUI 是针对 LLM 的用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama 和 OpenAI 兼容的 API。
Open WebUI 系统旨在简化客户端（您的浏览器）和 Ollama API 之间的交互。此设计的核心是后端反向代理，可增强安全性并解决 CORS 问题。
参考：https://github.com/open-webui/open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

可以选择本地模型：

搭建简单的tag系统

下载

地址：https://anythingllm.com/

配置

embed及向量数据库选默认

新建工作区，然后上传文档，然后向量化存储。

基于文档，对话，如下可以看到部分文档被引用到。

其他

rag系统：fastgpt