掌握Ollama和Nexa AI的安装与使用，轻松部署大模型

最近这一两周不少公司都已经停止秋招了。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

总结如下：

《大模型面试宝典》(2024版) 发布！
《AIGC 面试宝典》圈粉无数！

喜欢本文记得收藏、关注、点赞

---

掌握Ollama和Nexa AI的安装与使用，让本地运行AI模型变得轻松。

掌握如何在本地机器上安装和使用Ollama与Nexa AI，这两个平台将帮助开发者能够轻松运行和管理AI模型。本文分享安装和基本使用方法。

1 Ollama

在Linux机器上下载并安装Ollama，可以使用下面的命令一键安装：

curl -fsSL https://ollama.com/install.sh | sh

对于MacOS和Windows，请访问Ollama下载页面链接（https://ollama.com/download）获取相应的安装包。

安装完成后，在终端输入ollama命令，如果安装成功，你会看到命令行输出的相关提示。

Ollama允许你从模型中心拉取所需的模型，并在本地运行。在运行模型前，请确保你的硬件配置满足模型的运行要求。使用以下命令运行模型：

ollama run <model-name>

如果想在浏览器中使用模型，可以拉取模型镜像后，使用serve命令启动Ollama的本地Web服务器：

本地服务器启动后，可以通过Python脚本或Postman调用API，获取模型的响应数据。更多关于如何使用Web服务器的示例，可以参考Ollama官方博客（https://ollama.com/blog/llama3.2-vision）。

2 Nexa AI

Nexa AI与Ollama大致相似（二者为各种用例提供了工具），但其中心枢纽拥有更丰富的模型资源，包括大型和小型语言模型，以及图像、音频和视频生成模型。

你可以使用这个链接下载Nexa SDK：https://nexa.ai/download-sdk。

对于Linux用户，可以通过执行以下命令快速安装SDK：

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

对于其他操作系统的用户，可以直接从上述链接下载对应的安装文件。此外，Nexa SDK也支持通过Python的pip安装器进行安装。

安装完成后，可以通过在终端输入nexa命令来验证SDK是否安装成功。如果安装无误，终端会显示预期的输出结果。

如果从Nexa中心枢纽拉取了模型到本地机器，那么可以使用命令nexa list进行验证，会显示类似下面的内容。

如果模型镜像尚未拉取，那么可以使用命令nexa pull <model-name>或者run命令来拉取omnivision模型（一个小型视觉语言模型）。除了run命令，还有一个-st标志，你可以使用它来启动Streamlit服务器，通过浏览器的UI使用模型。

Nexa UI与Streamlit

和Ollama一样，你可以使用下面的命令从你的本地移除任何你不想要的模型：

nexa remove <model-name>

Nexa AI和Ollama都提供了丰富的模型中心，你可以尝试运行不同的模型，体验在本地机器上运行生成性AI模型的便捷性。通过实践，你会发现在本地部署和测试AI模型是一件非常简单的事情。