心路历程
买了一块Jetson Orin NX
最近想在边缘设备上部署个本地大语言模型，起初手里有一块Jetson nano 2GB，配了几周报各种错误（之前被用过），仔细想想即使配好了2GB也干不了啥，干脆重新入手一块新板子。
最近看师兄在用Jetson Orin NX，于是也去买了一块16GB的，里面还送了一本开发指南，总的来说体验还可以。需要特别说的是，和树莓派不一样，这个板子不是插sd卡的。
刚开箱接上显示器就一直黑屏？
上面的开发指南小本子里说系统已经烧好了，只需要连接电源、显示器、鼠标键盘就可以使用。我也是这样做的，但是连接显示器之后一直没反应，我的显示器是便携的Sculptor系列的，接上HDMI后没反应。看了下开发指南小本子，最后一章第一个就记录了这个问题，据说可能是不太匹配。如果你也遇到了这个问题，别慌，换个显示器大概率就行了。。（当然最好使用Jetson盒子里提供的HDMI线）
终于开机！
开机之后按照提示设置用户名密码之类的就可以了。
开始部署Ollama
参考指南
我主要参考官网给出的教程，这个教程是纯英文版，虽然翻译起来并不难，但是看着实在难受，我没找到详细一点的中文版对应教程，所以我就自己写一篇记录一下。。
官方链接: Tutorial - Ollama.
这里有两种方案（具体的指令在后文我也会写出来方便复制）：
- 第一种是直接使用官网指令
- 第二种是使用docker来安装
这里就比较坎坷了，师兄曾尝试用方法1官网的一键部署命令来做的，后来不知道为啥把系统配崩了，调了好几天。。所以我干脆直接用方法2的docker来装。
我选择使用Docker部署Ollama
方法解读
如果你打开上面的链接会看到这些描述，主要分为两部分：
首先使用第一个框内的任意一条指令来启动一个docker
然后使用第二个框内的任意一条指令部署一个大语言模型
（我都是使用两个框内的第一条指令）
但是这个教程没有说需要什么环境，但其实很好理解：安装docker——>安装jetson-containers即可
这里我按照我的安装步骤来记录
安装jetson-containers
我看他官网的指令上来就是jetson-containers run巴拉巴拉，所以那我就先装呗。
宝藏链接: 【jetson orin】Jetson Containers介绍安装与应用.
其实就是三条指令：
cd /opt/
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
等待就好了
安装Docker
（docker这些命令都要sudo哦）
装好jetson-containers之后，执行教程中的jetson-containers run巴拉巴拉命令，发现报错，说是docker什么command not found（我忘记截图了）
很显然装个docker就行了，所以我就直接
sudo apt install docker.io
安装结束之后查看一下版本，这样就算装好了
解决后续问题
装好docker之后，我就执行官网的命令：
jetson-containers run --name ollama $(autotag ollama)
竟然又报错了。。如下图（输入上面指令也是这个报错，我后来又试了图片中的指令也是一样的报错）
到这里我就懵了
后来我先搜索一下ollama的镜像
docker search ollama
找到了那就拉下来呗
docker pull ollama/ollama
启动docker
docker run -itd --name ollama ollama/ollama
可以查看下进程
docker ps
起一个docker终端
docker exec -it ollama bash
到这里基本上就安装完成了，可以查一下ip，访问上图docker ps后查看进程信息中的端口号在浏览器里访问一下，出现下面的页面表示启动成功！
部署LLAMA3.2:1b大语言模型
按照上述步骤装好ollama后，使用指令部署大语言模型（这里我先试试1b的LLAMA3.2）
/bin/ollama run llama3.2:1b
（这里如果不写:1b就会默认是3b的模型）
这个命令在哪个目录下执行都行，等待装好之后可以输入对话，问几个问题试试就好啦！
写在最后
第一次写blog，没啥经验，单纯想记录一下这个过程，感觉还是有点坎坷的，而且还没看到很完整的针对Jetson Orin NX的部署Ollama中文版教程（也可能是我检索能力太差了_哭）
扫一扫
984
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
