Ollama对比Nexa，本地高效部署大模型

最新推荐文章于 2025-03-10 17:55:53 发布

朝阳区靓仔_James

最新推荐文章于 2025-03-10 17:55:53 发布

阅读量1.4k

点赞数 11

文章标签： chatgpt 人工智能产品经理学习深度学习

本文链接：https://blog.csdn.net/weixin_58753619/article/details/144295676

版权

掌握Ollama和Nexa AI的安装与使用，让本地运行AI模型变得轻松。

掌握如何在本地机器上安装和使用Ollama与Nexa AI，这两个平台将帮助开发者能够轻松运行和管理AI模型。本文分享安装和基本使用方法。

1 Ollama

在Linux机器上下载并安装Ollama，可以使用下面的命令一键安装：

curl -fsSL https://ollama.com/install.sh | sh

对于MacOS和Windows，请访问Ollama下载页面链接（https://ollama.com/download）获取相应的安装包。

安装完成后，在终端输入ollama命令，如果安装成功，你会看到命令行输出的相关提示。

Ollama允许你从模型中心拉取所需的模型，并在本地运行。在运行模型前，请确保你的硬件配置满足模型的运行要求。使用以下命令运行模型：

ollama run <model-name>

如果想在浏览器中使用模型，可以拉取模型镜像后，使用serve命令启动Ollama的本地Web服务器：

本地服务器启动后，可以通过Python脚本或Postman调用API，获取模型的响应数据。更多关于如何使用Web服务器的示例，可以参考Ollama官方博客（https://ollama.com/blog/llama3.2-vision）。

2 Nexa AI

Nexa AI与Ollama大致相似（二者为各种用例提供了工具），但其中心枢纽拥有更丰富的模型资源，包括大型和小型语言模型，以及图像、音频和视频生成模型。

你可以使用这个链接下载Nexa SDK：https://nexa.ai/download-sdk。

对于Linux用户，可以通过执行以下命令快速安装SDK：

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

对于其他操作系统的用户，可以直接从上述链接下载对应的安装文件。此外，Nexa SDK也支持通过Python的pip安装器进行安装。

安装完成后，可以通过在终端输入nexa命令来验证SDK是否安装成功。如果安装无误，终端会显示预期的输出结果。

如果从Nexa中心枢纽拉取了模型到本地机器，那么可以使用命令nexa list进行验证，会显示类似下面的内容。

如果模型镜像尚未拉取，那么可以使用命令nexa pull <model-name>或者run命令来拉取omnivision模型（一个小型视觉语言模型）。除了run命令，还有一个-st标志，你可以使用它来启动Streamlit服务器，通过浏览器的UI使用模型。

Nexa UI与Streamlit

和Ollama一样，你可以使用下面的命令从你的本地移除任何你不想要的模型：

nexa remove <model-name>

Nexa AI和Ollama都提供了丰富的模型中心，你可以尝试运行不同的模型，体验在本地机器上运行生成性AI模型的便捷性。通过实践，你会发现在本地部署和测试AI模型是一件非常简单的事情。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述