Hailo-8算力卡初步测试分享

Hailo-8加速卡简介

偶然间在网上看到一个神经网络的计算卡，其算力达到26TOPS，当然还要具体测试才知道应用情况。

hailo-8加速卡是一款支持M.2 M键的卡，可以支持多种长度，由于想测试的是边缘端的加速，因此以ARM开发板为主，如树莓派（CM4）、香橙派等RK3588系列等带有M.2 M接口的开发板。

实际测试过程使用的产品：
1、hailo-8加速卡是一款支持M.2 M（灵眸科技）

2、树莓派CM4

3、微雪底板

注：使用过程中计算卡发热严重，建议找个小风扇，由于底板背面计算卡的尺寸较大，会超出树莓派的通用外壳的尺寸

树莓派CM4配置简单，均需要Ubuntu系统，测试的系统为Ubuntu22.04。本来也支持RK系列的，可以选用带M.2 M插口的，但需要从源码编译驱动，不会操作，尝试了下就放弃了
安装后的完整版


更多内容键官网https://hailo.ai/

软件包安装

必备的安装软件（官网下载，注册后等待通过即可）
1、hailort_4.14.0_arm64.deb
2、hailort-pcie-driver_4.14.0_all.deb
3、hailort-4.14.0-cp310-cp310-linux_aarch64.whl

安装后可以进行测试
确认驱动是否安装

lspci | grep Co-processor

结果

扫描可用设备

hailortcli scan

结果

加速效果测试

官网的资料中可以下载一些常用的模型，如resnet_v1_50.hef，hef为通过工具转换后能够运行在加速卡上的模型格式，模型可以在官网下载

hailortcli benchmark resnet_v1_50.hef

测试结果

图中显示FPS达到了1300左右，但延迟为2.8ms左右，不是很懂这个结果，但这个数据确实很快

在加速的过程中可以测试软件的加速效果，或者通过加速卡实现标准模型之间的对比。

推断是支持C、C++、Python（安装hailort-4.14.0-cp310-cp310-linux_aarch64.whl）的，pyhailort测试（推荐阅读HailoRT User Guide）

github上下载程序hailort

git clone https://github.com/hailo­ai/hailort.git
git clone https://gitclone.com/github.com/hailo­ai/hailort.git(推荐)
cd hailort/hailort/scripts/ && ./download_hefs.sh && cd ­

测试前需要安装jupyter 、matplotlib

pip install jupyter matplotlib

下载文件夹并下载模型文件，采用jupyter测试代码，路径如下图

因为只有一个加速卡，因此每次运行文件需要关闭其他notebook

目前只尝试了这些内容，因此完整的模型转换需要GPU，手头条件有限仅测试了树莓派CM4上的初步使用效果。
欢迎大家相互交流