一个月获得 10K Stars！这个开源项目实在牛！

最新推荐文章于 2024-10-05 09:17:37 发布

musicml

最新推荐文章于 2024-10-05 09:17:37 发布

阅读量305

点赞数 3

文章标签：开源

本文链接：https://blog.csdn.net/musicml/article/details/139281993

版权

▼最近直播超级多，预约保你有收获

Ollama是一个开源的项目，设计用于简化大模型（LLM）的部署和使用流程。它允许用户下载并本地运行像 Llama 3、Code Llama、Gemma、Mistral 等大模型，并支持自定义和创建自己的大模型。

Ollama支持 macOS 、Linux 操作系统和 Windows preview。此外 Ollama还提供了官方的 Docker 镜像，使得使用 Docker 容器部署大模型变得更加简单。Ollama 支持 GPU 加速，并提供了简单的命令行界面（CLI）以及用于与应用程序交互的 REST API 接口。

—1—

快速部署 Ollama

Ollama 支持 macOS、Windows 预览版和 Linux 系统。用户可以直接访问其开源项目地址 https://github.com/ollama/ollama 来查找最新的部署方式和资源。为了方便快速启动和部署，Ollama 还提供了官方的 Docker 镜像。此外，Ollama 还提供了 Python 和 JavaScript 库，使得开发者能够轻松地将 Ollama 集成到自己的项目中，以便利用该平台的功能和优势。

第一、macOS 下载链接：github.com/ollama/ollama#macos

第二、Windows预览版下载链接：github.com/ollama/ollama#windows-preview

第三、Linux 安装命令：curl -fsSL https://ollama.com/install.sh | sh

第四、Docker 镜像

Ollama 官方 Docker 镜像可在 Docker Hub 上找到，名为`ollama/ollama`。

—2—

下载大模型（LLM）

Ollama 支持一系列主流的大模型，可以去 ollama.com/library 去下载，比如：Llama 3、Gemma、Mistral、阿里的千问等大模型都支持，具有不同的参数和大小，用户可以根据需要自行下载。

下载完成，你就能在本地电脑上随意切换和使用刚才下载的大模型了。

—3—

运行大模型（LLMs）

当你准备好运行一个大模型时，你可以打开命令行并输入 ollama run 命令，后面跟上你想要运行的大模型名称和版本。比如：要运行 Gemma 2B 模型，你可以执行以下命令：

执行这个命令后，Ollama 将会启动其交互式解释器（REPL），允许你在其中与 Gemma 2B 大模型进行交互。在 REPL 中，你可以输入各种查询和指令来测试和使用大模型的功能。这是一个示例，展示了如何使用 Ollama REPL 与大模型进行交互：

请注意，具体的命令和用法可能会根据你安装的 Ollama 版本和大模型而有所不同。

—4—

Web 界面

如果你更倾向于在图形用户界面（GUI）中操作大模型，而不是通过命令行窗口，那么我强烈推荐你尝试使用 Ollama 的 WebUI。一旦启动，你将看到一个简洁且直观的界面，其设计类似于 ChatGPT 的界面，让你能够轻松与大模型进行交互，无需编写复杂的命令行指令。这个界面友好易用，使得即使是对技术不太熟悉的用户也能轻松上手并享受与大模型交互的乐趣。

WebUI 开源地址：https://github.com/open-webui/open-webui