jetson nano 4G 版本安装ollama.cpp，GPU版本！Qwen3

已于 2025-05-02 20:50:08 修改
阅读量796 收藏 8
点赞数 6
文章标签： llama 经验分享 人工智能 机器学习 深度学习 嵌入式硬件
于 2025-02-22 15:28:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46466484/article/details/145794855
版权

使用jetson nano 4G 版本安装ollama，GPU版本的Qwen3教程

  • 由于jtson nano 4g版本不能够使用官方的ollama进行GPU推理，会使用cpu，太慢了
  • 使用别人编译好的llama.cpp运行，不用安装任何的环境!!! 先上结果
    在这里插入图片描述
    在这里插入图片描述

可以看到GPU的利用率非常高，速度也还可以，系统是超频之后的，应该有一点的关系

历史分界线，下面是比较折腾的方法，感兴趣的可以看看

  • 使用docker 可以安装其他镜像进行推理，流程如何

安装jetson-containers

  • 命令
cd /opt/
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh

装完之后目前还是无法使用gpu版本的ollama

需要安装一个镜像

cd jetson-containers
sudo ./run.sh dustynv/ros:humble-desktop-l4t-r35.3.1
# 这个是安装完成之后的样子，会进入一个容器之中，可能需要科学上网
# Digest: sha256:08eafdabc4d3d9ed6395bef3fd9b12636b10258a6c2968a68eb1e611acddde5b
# Status: Downloaded newer image for dustynv/ros:humble-desktop-l4t-r35.3.1
# sourcing   /opt/ros/humble/install/setup.bash
# ROS_DISTRO humble
# ROS_ROOT   /opt/ros/humble

然后就会进行一个容器之中，

安装ollama

curl -fsSL https://ollama.com/install.sh | sh
# 后台运行ollama
nohup ollama serve &
ollama run llama3.2:1b

在这里插入图片描述

ollama run --verbose deepseek-r1:1.5b

在这里插入图片描述

  • 在jtop中可以看到gpu已经在使用了，但是速度比较慢，只能运行小模型

后续学习如何将这个接入到其他电脑中进行代码的编写，比如qwen2.5-coder:0.5b

国产大模型轻量部署实测报告：推理速度 × 内存占用 × 精度表现全维度对比与趋势解析
努力分享一些人工智能相关的知识干货！
04-07 860
国产大模型落地不止于“部署成功”，还要关注是否“跑得稳 × 算得准 × 撑得起”。 本篇基于 Jetson Nano / Orin、Android、iOS 等多平台，对轻量化后的 Qwen、DeepSeek 等模型进行全流程实测，涵盖推理速度、显存占用、精度保持率与能效评分等关键指标。 同时，提出适配不同端侧应用的部署建议、工具链组合方式，并分析国产模型轻量化在未来 Agent / 私有应用中的落地趋势，是你进行模型选型、性能预估与实际部署的实用指南。
国产大模型在边缘设备的量化部署实战：从 FP32 到 INT8 的转换与优化
努力分享一些人工智能相关的知识干货！
04-07 988
在国产大模型落地过程中，“轻量化”已经成为部署在 Jetson、树莓派、国产 ARM 板卡等边缘设备的首要挑战。相比传统云端部署方式，边缘部署更关注运行时内存占用、推理速度与功耗表现。而模型量化（Quantization）正是解决这一问题的核心利器。 本篇文章将以 Qwen2.5 和 DeepSeek-V3 为例，系统讲解如何将 FP32 全精度模型转换为 INT8 甚至更低精度模型，并完成边缘设备的高效推理部署。涵盖量化原理解析、部署工具链选择、INT8 实战步骤、性能对比测试与落地建议等，适合所有希望
jetson nano 部署 ollama运行大模型
SecularBird的专栏
03-24 2009
Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。该error 可以无视，这个主要是nvidia-smi 命令没有找到， jetson nano下面没有这个指令， 我们下面要使用的也是cpu所以没有什么影响。这里可以使用jtop来查看资源的消耗， 需要提升性能的话，可以使用jetson_clocks进行调整， 需要装风扇， 不然会温度过高。
【亲测！】Jetson Orin NX 16GB部署本地Ollama大模型
m0_72906461的博客
12-18 4165
记录Jetson Orin NX 16GB部署本地Ollama大模型过程（以LLAMA3.2 1B为例）
Jetson Orin NX使用 Ollama 本地部署 deepseek
Flag_ing的博客
03-24 415
本文记录在 jetson orin nx 上使用 ollama 部署 deepseek 的过程。
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
freewebsys的专栏
03-16 2270
【代码】【无标题】在jetson上安装 ollama。
本地AI助手：在Seeed Studio reComputer Jetson设备上部署Ollama和AnythingLLM
m0_53134931的博客
08-14 1462
本地AI助手是一种在本地硬件和软件上运行的人工智能应用程序，提供智能交互和数据处理功能。它独立于云服务运行，保护用户隐私，同时提供快速响应时间和高度的自定义能力。在本教程中，我们将演示如何在Jetson设备上使用和搭建本地知识库。通过利用大语言模型的强大功能，我们旨在提高工作效率。
【做项目】Jetson Orin Nano使用Ollama本地部署DeepSeek等大语言模型
最新发布
agentssl的博客
05-02 887
Jetson Orin Nano本地部署LLM
使用英伟达 NVIDIA jetson orin 系列部署deepseek-r1
weixin_41672261的博客
02-18 2849
使用jetson orin 系列部署deepseek-r1
NVIDIA Jetson Orin Nano 开发套件获得超级提升
专注于人工智能领域的小何尚
12-24 2638
生成式 AI 领域正在快速发展，新的大型语言模型 (LLM)、视觉语言模型 (VLM) 和视觉语言动作 (VLA) 模型每天都在涌现。为了站在这个变革时代的最前沿，开发人员需要一个足够强大的平台，能够使用 CUDA 优化推理和开放 ML 框架，将最新模型从云端无缝部署到边缘。为了支持机器人和多模态代理中生成式 AI 工作负载的新兴应用，NVIDIA 通过软件更新刷新了开发套件，性能空前提升高达 1.7 倍，新价格令人惊叹，仅为 249 美元。
构建局域网边缘交互系统：Jetson × Qwen2.5 实现语音图文智能助手
努力分享一些人工智能相关的知识干货！
04-06 1030
在 Jetson 上成功部署 Qwen2.5 模型，只是边缘智能系统的第一步。真正有价值的，是“用户或设备可以和它交互”，这就要求我们建立完整的闭环。所以，我们需要构建一个，它不仅是输入通道，更是连接智能体与用户之间的“真实交互界面”。
万字长文细说端侧大模型进展(综述)
强化学习曾小健
11-16 1525
大型语言模型（LLMs）的出现彻底改变了自然语言处理（NLP）领域。由于其在边缘设备上的低延迟、数据本地化和个性化用户体验的优势，越来越多的研究关注在资源受限环境中部署LLMs的挑战与解决方案。本文综述了设备端语言模型的发展，包括高效架构设计、模型压缩技术及硬件加速策略，并通过案例研究展示其实际应用及潜在优势。本综述全面阐述了设备上语言模型（LLMs）的最新进展，重点分析了模型压缩、高效架构设计和硬件-软件协同优化等领域的突破。
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 7756
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
Jetson 开发系列：如何用GPU跑本地大模型？
u010522887的专栏
10-06 4862
Jetson 上利用 GPU 实现大模型推理加速，并本地部署最强开源模型qwen2.5
使用ollama跨平台部署大模型
sinat_14910583的博客
03-26 3278
Get up and running with Llama 2, Mistral, Gemma, and other large language models.
在 Jetson 上部署 DeepSeek-R1教程
weixin_44499748的博客
02-05 4659
DeepSeek-R1 模型大小：不同参数版本（如 1.5B、7B、14B 等）对内存、存储及 GPU 要求不同。NVIDIA 驱动与 CUDA：确保已正确安装 NVIDIA 驱动、CUDA 以及相关的 GPU 加速库（如 TensorRT），以便模型能充分利用 Jetson 的 GPU 加速能力。Open WebUI 是一种用于运行和管理大型语言模型的多功能，基于浏览器的接口（LLMs ）在本地，为Jetson开发人员提供了一个直观的平台来尝试LLMs在他们的设备上。或者使用dockers。
用 NVIDIA Jetson 创建 Phi3 聊天机器人
chenjambo的博客
04-30 1303
在 NVIDIA Jetson Xavier NX 上结合微软 Phi3 模型，创建专属的AI对话机器人
大创学习记录：边缘设备LLMs基础实践
2401_84974332的博客
10-16 1238
经过一年发展，LLM的开源项目和应用生态正在使个人使用变得越来越方便。暑假前，我们已经通过手动方式实现了qwen和chatglm系列模型在笔记本上的部署。在后续实践过程中，我们使用了很多我了解到的开源项目和平台，进一步极大简化了部署难度。 最近我们对于边缘场景中借助边缘嵌入式板卡应用LLM模型，进行了三类实验。
Jetson Nano PyTorch安装指南及.whl文件
资源摘要信息:"Jetson Nano PyTorch 手动安装.whl文件" 知识点详细说明: 1. Jetson Nano简介： Jetson Nano是NVIDIA推出的一款小型人工智能计算机，它搭载了NVIDIA的Tegra系列处理器，专为边缘计算和AI应用设计。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值