手把手教你Jetson Orin Nano使用Ollama本地部署DeepSeek等大语言模型

前言

Jetson Orin Nano本地部署DeepSeek！系统建议升级为Super模式，欢迎参考我之前的教程，非常详细，一步到位！

【超详细】Jetson Orin Nano升级Super模式教程(Jetson Orin NX适用)-CSDN博客

目录

1 部署Ollama

2 通过Docker部署Ollama

2.1 安装Docker

2.2 下载jetson-containers工具

3 运行Ollama容器，加载LLM

---

 

1 部署Ollama

        大型语言模型（LLM）是深度神经网络架构下的一种自然语言处理（NLP）系统，其通过海量文本数据的预训练学习人类语言的语义和语法规律，具备理解上下文并生成逻辑通顺回复的能力。Ollama作为轻量化开源框架，专注于实现LLM在本地设备端的快速部署与低资源运行。它通过标准化模型封装和自动化依赖管理，使得用户可以 在本地内网环境中使用高质量的语言模型，无需依赖云服务。同时提供交互式终端界面以简化模型加载、调试及版本切换操作。

注意：网络环境一般的话不建议直接使用curl工具安装Ollama，此方法非常耗时且下载途中极容易断连。

这里提供另一种方法来安装Ollama。

2 通过Docker部署Ollama

2.1 安装Docker

参照Ubuntu | Docker Docs文档的Installation methods章节，一步一步复制即可。

最后下面运行指令来拉取测试镜像：

sudo docker run hello-world

 拉取失败：

由于网络政策，大部分常见的镜像源已经无法使用，所以我们采用更换国内的镜像源。

参考文章

这里我直接修改daemon.json文件，实现永久换源。

sudo vim /etc/docker/daemon.json

 加入如下内容：

{
    "registry-mirrors": [
   "https://docker.m.daocloud.io",
   "https://docker.imgdb.de",
   "https://docker-0.unsee.tech",
   "https://docker.hlmirror.com",
   "https://cjie.eu.org"
    ]
}

最后运行指令：

sudo systemctl daemon-reload 

sudo systemctl restart docker

再次尝试拉取“hello-world”镜像，出现下图即为成功。

2.2 下载jetson-containers工具

jetson-containers可以通过模块化的方式来自动构建image，但是jetson-containers也有构建好的包含所有我们使用组件的image，我们用的就是他们构建好的image。参考文章

git clone https://github.com/dusty-nv/jetson-containers bash jetson-containers/install.sh

bash jetson-containers/install.sh

出现这种情况属于网路环境问题，多试几次或更换手机热点即可。

运行安装脚本

cd jetson-containers/

bash install.sh

3 运行Ollama容器，加载LLM

通过jetson-containers运行Ollama，首次运行会对Ollama容器进行拉取。

jetson-containers run --name ollama $(autotag ollama)

下载镜像中...

下载完成后会直接运行Ollama。

我们先运行一个1.5b的蒸馏版试试，可以新建一个shell用来运行jtop来监测CPU、GPU、内存等使用情况。

简单问问，表现还不错~

后面可以试试7b、8b。不建议运行14b或14b以上版本，开发板的性能有限，内存或显存不足可能导致系统崩溃触发OOM（Out Of Memory）。本次DeepSeek部署已经成功，后面我将对其性能进行优化，避免内存或显存崩溃导致的关机重启。大家持续的关注我吧，下课~

制作不易，对您有帮助的话就点个免费的赞、收藏支持下，万分感谢!