【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了

已于 2024-03-16 23:23:38 修改
阅读量2.2k 收藏 5
点赞数 10
分类专栏： ollama 大模型 Linux 文章标签： 服务器 linux
于 2024-03-16 22:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/freewebsys/article/details/136768730
版权

1，视频地址

https://www.bilibili.com/video/BV1Pj421o7W5/

【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了

2，使用Nvidia Jetson Nano设备

https://www.nvidia.cn/autonomous-machines/embedded-systems/jetson-nano/product-development/

在这里插入图片描述
参数：
在这里插入图片描述
设备连接观显示器，使用 usb wifi 连接网络。
在这里插入图片描述
在这里插入图片描述

3, 使用ollama官方脚本进行安装

在这里插入图片描述
https://ollama.com/download

test@test-desktop:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
######################################################################## 100.0%#=#=-#  #                                                   >>> Installing ollama to /usr/local/bin...
[sudo] password for test: 
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> Installing NVIDIA repository...
curl: (22) The requested URL returned error: 404

但是感觉 nvidia 的驱动没有安装成功。本身也没有 nvidia-smi 命令了。
下载qwen 0.5 大模型，然后运行。

test@test-desktop:~$ ollama run qwen:0.5b-chat
pulling manifest 
pulling fad2a06e4cc7... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 394 MB                         
pulling 41c2cf8c272f... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 7.3 KB                         
pulling 1da0581fd4ce... 100% ▕███████████████████████████████████████████████████████████████████████████▏  130 B                         
pulling f02dd72bb242... 100% ▕███████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling ea0a531a015b... 100% ▕███████████████████████████████████████████████████████████████████████████▏  485 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>> Send a message (/? for help)

运行qwen 0.5b 大模型：
在这里插入图片描述

4，总结

总体上速度还可以，非常不错的。
设备是很多年前的老设备啦。

jetson nano 部署 ollama运行大模型
SecularBird的专栏
03-24 1969
Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。该error 可以无视，这个主要是nvidia-smi 命令没有找到， jetson nano下面没有这个指令， 我们下面要使用的也是cpu所以没有什么影响。这里可以使用jtop来查看资源的消耗， 需要提升性能的话，可以使用jetson_clocks进行调整， 需要装风扇， 不然会温度过高。
本地AI助手：在Seeed Studio reComputer Jetson设备上部署Ollama和AnythingLLM
m0_53134931的博客
08-14 1446
本地AI助手是一种在本地硬件和软件上运行的人工智能应用程序，提供智能交互和数据处理功能。它独立于云服务运行，保护用户隐私，同时提供快速响应时间和高度的自定义能力。在本教程中，我们将演示如何在Jetson设备上使用和搭建本地知识库。通过利用大语言模型的强大功能，我们旨在提高工作效率。
jetson nano 4G 版本安装ollama，GPU版本！deepseek
weixin_46466484的博客
02-22 683
jetson nano 4G 版本安装ollama，GPU版本！deepseek。
有手就行，轻松本地部署 Llama、Qwen 大模型，无需 GPU
最新发布
m0_71745484的博客
03-12 1544
没有消费级的 GPU，竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点，一台普通的 Mac 就能搞定，太香了~随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。
【ai技术】（3）：使用脚本对树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s，也是非常不错了。
freewebsys的专栏
03-21 1460
【代码】【ai技术】（3）：使用脚本对树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s，也是非常不错了。
【亲测！】Jetson Orin NX 16GB部署本地Ollama大模型
m0_72906461的博客
12-18 3817
记录Jetson Orin NX 16GB部署本地Ollama大模型过程（以LLAMA3.2 1B为例）
【ollama】（8）：nvidia-docker在Nvidia Jetson Nano设备，对接chatgpt-web服务，配置成功，可以进行web聊天了，给ollama增加web界面
freewebsys的专栏
03-16 511
特别注意是 docker-compose-linux-armv7 版本，linux版本。然后安装docker 执行脚本即可。
用 NVIDIA Jetson 创建 Phi3 聊天机器人
chenjambo的博客
04-30 1286
在 NVIDIA Jetson Xavier NX 上结合微软 Phi3 模型，创建专属的AI对话机器人
JETSON AGX ORIN结合owl+qwen2.5实现开放语义目标检测
qq_44908396的博客
10-09 1871
本文使用jetson实现开放目标检测，涉及到llama-factory、llama.cpp、ollama、qwen2.5、owl等工具或模型的使用
本地部署Qwen2大模型之三：编译CPU版vLLM
F8_11的博客
12-24 4616
继续探究vLLM方式在本地部署Qwen2大模型的方法，对于未配备GPU的电脑，手动编译并安装CPU版的vLLM。
Jetson显卡上运行Qwen2-1.5b模型时报错“RuntimeError triu_tril_cuda_template not implemented for ‘BFloat16‘”
MITA1的博客
09-16 704
Jetson显卡上运行Qwen2-1.5b模型时报错“RuntimeError triu_tril_cuda_template not implemented for 'BFloat16'”
万字长文细说端侧大模型进展(综述)
强化学习曾小健
11-16 1492
大型语言模型（LLMs）的出现彻底改变了自然语言处理（NLP）领域。由于其在边缘设备上的低延迟、数据本地化和个性化用户体验的优势，越来越多的研究关注在资源受限环境中部署LLMs的挑战与解决方案。本文综述了设备端语言模型的发展，包括高效架构设计、模型压缩技术及硬件加速策略，并通过案例研究展示其实际应用及潜在优势。本综述全面阐述了设备上语言模型（LLMs）的最新进展，重点分析了模型压缩、高效架构设计和硬件-软件协同优化等领域的突破。
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct
engchina的专栏
11-11 2394
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct
【ollama】（5）：在本地使用docker-compose启动ollama镜像，修改模型存储位置，并下载qwen-0.5b模型，速度飞快
freewebsys的专栏
03-14 7108
Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快。
大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践
Sherlim的博客
06-03 796
本实验的主要目标是完成大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践。通过此次实验，我对大模型的部署和优化有了更深入的理解和实践经验。模型下载和项目编译是大模型部署的基础环节。通过下载Qwen1.5-0.5B-Chat模型和编译llama.cpp项目，我掌握了如何获取和准备大模型所需的基础文件和工具。基于OpenVINO的模型量化是本次实验的一个重点。通过将模型转换为int4精度，我了解了模型量化的基本步骤和原理。
llama.cpp运行qwen0.5B
qq_36437991的博客
04-02 2153
llama.cpp运行qwen0.5B大模型
OLLAMA部署qwen:7b,与fastgpt集成
wengad的博客
04-18 4487
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2554
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
ollama 调用本地模型qwen:1.8b代码
AI炼丹师的专栏
03-15 960
用vscode而不是cmd调用 D:\Research\flower_exif\gemma_local.py。
nanoCluster：NVIDIA Jetson Nano计算集群的搭建与应用
- **nvidia-jetson-nano**：直接指向了集群使用的核心组件NVIDIA Jetson Nano。 - **HTML**：没有直接提及，但可能意味着与该项目相关的某些用户界面使用了HTML技术。 ### 结语 nanoCluster通过结合NVIDIA Jetson ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值