初探Ollama与deepseek

柏伦 Belen

已于 2025-03-03 00:14:12 修改

阅读量524

点赞数 5

分类专栏： AI大模型文章标签： AI 北码科技

于 2025-03-02 22:16:49 首次发布

本文链接：https://blog.csdn.net/programmer_sir/article/details/145971532

版权

AI大模型专栏收录该内容

1 篇文章

订阅专栏

什么是Ollama？它与大模型有什么联系？

简单说，Ollama就像是你电脑上的一个 “大模型小助手”。

以前，很多强大的大语言模型，比如能回答各种问题、写文章、翻译等的那些模型，要么只能在网上的服务器上用，数据发过去存在隐私风险；要么就是运行起来特别复杂，对电脑要求很高，普通人很难自己在电脑上用。

而 Ollama 出现后，它能让你在自己的电脑上比较轻松地运行很多不同的大语言模型。就好比你有一个模型仓库，里面放着像 LLaMA、Mistral 这些大模型，只要你电脑性能允许，通过 Ollama 这个工具，你就能把这些模型 “召唤” 出来，让它们在你的电脑上干活，比如帮你写文案、陪你聊天等。

所以，Ollama 和大模型的关系就是，Ollama 是一个能让大模型在本地电脑更方便运行的工具平台，它给大模型提供了在本地运行的 “土壤”，让人们可以更自由、更安全地使用大模型，而不用完全依赖网络上的服务。

安装ollama

在这里插入图片描述

聊起来

在这里插入图片描述

实测deepseek 1.5b有点智障了还是7B起。
在这里插入图片描述

构建对答UI窗口

可安装open-webui或Chatbox。

open-webui链接：
https://github.com/open-webui/open-webui

如果Ollama在您的计算机上，请使用以下命令：
命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama在另一个服务器上，请使用以下命令：

要连接到其他服务器上的Ollama，请将OLLAMA_BASE_URL更改为服务器的URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持Nvidia GPU的Open WebUI，请使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果只使用OpenAI API，请使用以下命令：

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装好后效果：
Open WebUI