文章目录
- 一、引言
- ⭐1.1下载镜像烧系统
- ⭐1.2开发板初始化系统配置远程登陆
- 💖 远程ssh
- 💖查看ubuntu桌面
- 💖 远程向日葵
- 二、部署LLMS大模型&yolov5物体检测
- ⭐2.1 快速启动LLMS大模型
- 💖拉取代码
- 💖下载mode数据
- 💖启动模型对话
- ⭐2.2yolov5图片物体检测
- 三、体验 内置AI 应用样例
- ⭐3.1运行 jupyterLab
- 💖进入sample 启动jupyterLab
- ⭐3.2打开Jupyter Lab页面
- 💖界面操作
- ⭐3.3 释放内存
- 💖 关闭样例
- ⭐3.4运行目标检测样例
- ⭐3.5运行图像曝光增强样例
- 四、总结
一、引言
大家好,我是yma16,在收到香橙派 AIpro 开发版之后开始动手实操,本期分享 【 香橙派 AIpro评测】烧系统运行部署LLMS大模型跑开源yolov5物体检测并体验Jupyter Lab AI 应用样例(新手入门)
香橙派 AIpro
Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇腾 AI 处理器,可提供 8TOPS INT8 的计算能力,内存提供了 8GB 和 16GB两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。
开发版图解
前期的准备工作如下
⭐1.1下载镜像烧系统
官方下载镜像:
http://www.orangepi.cn/html/hardWare/computerAndMicrocontrollers/service-and-support/Orange-Pi-AIpro.html 下载unbuntu系统
官方的下载烧录镜像软件
https://etcher.balena.io/#download-etcher 下载昇腾开发一键制卡工具
点击下载
选择镜像、选择挂载的内存卡,等待约10分钟(3.0接口)
⭐1.2开发板初始化系统配置远程登陆
将烧好的unbuntu卡放入sd card槽
正面
反面
输入密码 (操作手册有密码:Mind@123)
远程ssh配置
修改root密码
验证看root密码
💖 远程ssh
通过热点查看连接设备名称是 orangepi ai的ip
输入指令 查看ip地址
切换网络会更改ip
ssh 用户名@ip
输入密码
连接 香橙派 AIpro,连接成功!
💖查看ubuntu桌面
安装的是ubuntu桌面的系统,进入ubuntu 桌面
查看磁盘
目录 | 空间 |
dev/root | 29G |
tempfs | 3.7G+1.5G |
💖 远程向日葵
下载umo的版本即可
二、部署LLMS大模型&yolov5物体检测
使用开源项目ChatGLM3 ManualReset
在gitee查找32G以内的开源大模型
项目地址: https://gitee.com/wan-zutao/chatglm3-manual-reset
可以gitee搜索,找到ChatGLM3 ManualReset该项目,基于香橙派AIpro部署ChatGLM3-6B大语言模型
⭐2.1 快速启动LLMS大模型
💖拉取代码
创建chatglm/inference目录拉取该仓库的所有代码
💖下载mode数据
运行 脚本下载model数据,中途网络中断可以删除 mode 和 token 目录 重新下载
拉取仓库过程运行的过程,下载内容超过6G数据量,过程比较慢长
💖启动模型对话
python 运行main脚本启动
main脚本调用chatglm.om(6.3G),响应有点慢
打印出项目的可以访问地址
访问即可和大模型对话
⭐2.2yolov5图片物体检测
YOLOv5是一种高效的目标检测算法,具有快速、准确、轻量级的特点。
yolov5项目地址: https://github.com/ultralytics/yolov5 拉取开源项目并安装依赖
脚本运行的数据:(运行大约4.7ms,两张图片)
Fusing layers…
YOLOv5s summary: 213 layers, 7225885 parameters, 0 gradients, 16.4 GFLOPs
image 1/2 /root/yolov5_demo/yolov5/data/images/bus.jpg: 640x480 4 persons, 1 bus, 657.6ms
image 2/2 /root/yolov5_demo/yolov5/data/images/zidane.jpg: 384x640 2 persons, 2 ties, 511.0ms
Speed: 4.7ms pre-process, 584.3ms inference, 14.8ms NMS per image at shape (1, 3, 640, 640)
Results saved to runs/detect/exp
运行截图:
识别图片结果,生成目录位置为 runs/detect/exp
三、体验 内置AI 应用样例
香橙派 AIpro中预装了 Jupyter Lab 软件。Jupyter Lab 软件是一个基于 web
的交互式开发环境,集成了代码编辑器、终端、文件管理器等功能,使得开发者可以在一个界面中完成各种任务。并且我们在镜像中也预置了一些可以在Jupyter Lab 软件中运行的 AI 应用样例。这些样例都是使用 Python 编写的,并调用了 Python 版本的AscendCL 编程接口
⭐3.1运行 jupyterLab
💖进入sample 启动jupyterLab
进入目录运行sh
⭐3.2打开Jupyter Lab页面
💖界面操作
左侧是ai体验的实例,点击进入目录下的ipynb后缀文件会执行python实例,markdown是可执行的,酷
⭐3.3 释放内存
💖 关闭样例
选择kernel下的shut down allkernets,即可关闭所有运行的样例,避免空间不足
⭐3.4运行目标检测样例
运动目标检测样例
样例代码
运行时间8ms左右:输出parking文字和图片内容一致,符合预期
⭐3.5运行图像曝光增强样例
选择04-HDR 的demo样例
定义资源管理类
推理功能
结果
生成的图像增强效果如下:
消耗时间316ms,响应极快。
查看生成的out目录下的结果图片,十分清晰
四、总结
香橙派 AIpro有良好的生态和入门的技术文档,网上也有相关的视频教程,对新人很友好。
http://www.orangepi.cn应用场景
香橙派 AIpro 开发板因为比较小巧轻量,内部集合Jupyter Lab 页面,非常方便,对于入门人工智能的开发者非常友好。
试用场景也不仅仅局限于本文的操作,还有以下的多个方向等:
- 原型开发:开发板是原型开发的理想工具。通过连接传感器、执行器和其他外设,开发人员可以快速验证和迭代他们的想法,并评估其可行性。
- 学习和教育:开发板可以作为学生和初学者学习编程和电子技术的工具。它们提供了一个实践的平台,让学习者通过实际操作来理解电子原理和编程概念。
- 项目演示:开发板可以用于演示和展示技术项目。无论是在学术会议上还是在公司内部会议上,通过展示实际的硬件和软件成果,可以增强演示和沟通的效果。
- 物联网应用:开发板是物联网应用开发的重要工具。它们可以用于构建和测试各种物联网设备和传感器网络。
- 自动化控制:开发板可以用于构建自动化控制系统。通过连接和控制传感器和执行器,可以实现各种自动化任务,如智能家居控制、工业自动化等。
香橙派 AIpro的性能体验:
散热:开发板的散热性能良好,持续运行8个小时整个板子的温度都比较低。
噪音:开发板的噪音产生主要来自于风扇,开机过程中存在一点噪音,开机之后噪音就降下来了,影响不大。
负载:开发板的内存和cpu的使用情况状态处于健康状态,能够同时处理的任务或数据量。
烧录系统部署项目过程体验
香橙派AIpro是一款简化了硬件开发过程的智能开发板。它的优势在于用户无需复杂的安装步骤,只需要通过SD卡加载预配置好的镜像系统,插入设备后就能直接登录并开始使用。这种预先装好的系统大大节省了新手入门的时间,尤其是对于网络配置这类细节,不再需要手动设置。
此外,它配备了内置的Jupyter Lab环境,这使得开发者可以直接在界面上编写、运行和测试人工智能应用程序,极大地提高了开发效率。由于其设计简洁易用,即使是不熟悉底层操作的开发者也能快速上手,无论是调试还是比较数据集结果都变得更加直观和高效。
相比传统的开发板,香橙派AIpro凭借其智能化的特点,为开发者提供了一站式解决方案,不仅减少了繁琐的工作环节,而且在性能稳定性以及交互体验上都有着显著提升。这对于那些寻求快速原型制作和便捷开发环境的工程师来说,无疑是一个理想的选择。