算能竞赛硬件答疑与常见问题

于 2024-08-08 12:00:00 发布
阅读量734 收藏 8
点赞数 26
文章标签： 驱动开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lily_19861986/article/details/140952969
版权

1. 资料获取来源

1.1 SDK获取渠道

1.1.1 SDK是什么

SDK全称为Software Development Kit，中文意思是“软件开发工具包”。它是由硬件平台、操作系统（OS）或编程语言的制造商提供的一套工具集，旨在帮助软件开发人员更高效地为特定的平台、系统或编程语言创建应用程序。

Sophon-SDK说明如下：2.2.2. SophonSDK — Sophon Inference 3.0.0 文档 (sophgo.com)

1.1.2 下载路径

可以从此处找到历史发行版本的SDK并下载：技术资料 (sophgo.com)](技术资料)

从左侧选择对应版本号的SDK，优先考虑选择LTS（长期支持）版本。然而，如果非LTS版本的SDK版本号更新于LTS版本，且包含新增特性，您可以根据需要灵活尝试。在每个SDK中，您会发现一个包含doc文件夹的工具目录，其中提供了相关的使用说明。

1.2 硬件使用指南

1.2.1 少林派开发板（BM1684处理器)

开发板的使用教程参见 少林派开发板实践课程 (sophon.cn) ，如在使用过程中遇到任何问题，请首先查阅相关文档。如果文档中未提供解决方案，请联系“硬十”客服，他们会提供更优质的解答

1.2.2 Airbox微服务器（白色-BM1684X处理器）

开发板的使用教程参见 README.md · zilla0717/AirboxWiki - Gitee.com ，如在使用过程中遇到任何问题，请首先查阅相关文档。如果文档中未提供解决方案，请找相应客服，他们会提供更优质的解答

1.2.3 Fogwise Airbox（黑色-BM1684X处理器）

开发板的使用教程参见 Docs (docs.radxa.com) ，如在使用过程中遇到任何问题，请首先查阅相关文档。如果文档中未提供解决方案，请找相应客服，他们会提供更优质的解答

1.2.4 对于DUO系列开发板

板子的使用教程参见 🚀 入门指南 | Milk-V (milkv.io) ，如在使用过程中遇到任何问题，请首先查阅相关文档。如果文档中未提供解决方案，请找相应客服，他们会提供更优质的解答

1.3 TPU-MLIR 工具链相关资料

除了下载的SDK中的doc文档内的《快速使用指南》和《开发参考手册》外，还可以从 TPUMLIR 官网 查阅相关资料并参考相应博客，实现对于自己模型的移植。

2. 模型的选择

在确认自己小组的选题后，该选择 / 制作相应的模型了，但在这之前，请参阅MLIR工具链中支持的算子（TPU-MLIR快速入门手册/15.附录06:已支持的算子），确保自己的模型中的算子均被支持，以免出现模型无法正常部署的情况。

2.1 用户自定义算子

若您认为所开发的模型性能卓越、功能强大，且对其应用有明确需求，但遇到模型中包含不受支持的算子，建议首先尝试替换这些算子为受支持的等效算子。如果替换算子后模型的精度或功能受到显著影响，您可以考虑查阅相关文档，并在TPU-MLIR框架中实现自定义算子，以便完成模型的有效部署。请参见以下链接：

  • TPU-MLIR开发参考手册 / 用户自定义算子

3. 项目优化加速

我们推荐先按照正常开发流程，确保项目能够运行的前提下，再使用相应的对于TPU进行适配的相应工具进行优化加速。可以参考的加速项目介绍如下。

3.1 模型加速

模型从pt、onnx 等格式通过TPU-MLIR工具转化为bmodel

3.2 sophon-sail

3.2.1 什么是sophon-sail

SAIL (Sophon Artificial Intelligent Library) 是 sophon-sail 中的核心模块。SAIL 对 SophonSDK 中的 BMLib、BMDecoder、BMCV、BMRuntime 进行了封装，将 SophonSDK 中原有的“加载bmodel 并驱动TPU推理”、“驱动TPU做图像处理”、“驱动VPU做图像 和视频解码”等功能抽象成更为简单的C++接口对外提供；并且使用pybind11再次封装， 提供简洁易用的python接口。

3.2.2 如何使用sophon-sail

sophon-sail不同版本的特性差异较大，请根据使用的版本参考相应的文档，避免出现文档与sail版本不匹配，从而出现无法使用的情况。sail在SDK中有集成，打开所下载的SDK就能看到。

sail在使用之前，请先查看开发板的 GLIBC 版本，然后选择不高于开发板的 GLIBC 版本的x86_64 linux电脑进行交叉编译，交叉编译详见sail文档。

查看GLIBC版本：

# x86_64电脑：
strings /lib/x86_64-linux-gnu/libc.so.6 | grep "GLIBC_"
​
# 开发板：
strings /lib/aarch64-linux-gnu/libc.so.6 | grep "GLIBC_"

如图，开发板的GLIBC最高到2.30，故在交叉编译时，x86_64电脑的GLIBC版本也不得高于此。

4.2.3 sophon-sail中的注意事项

在优化时，可以留意以下接口的使用，这些接口的使用方法详见各文档：

  1. sail.Engine Engine

    可以实现 bmodel 的加载与管理，是实现模型推理的主要模块。

  2. sail.BMImage

    BMImage 封装了一张图片的全部信息，可利用Bmcv接口将BMImage 转换为Tensor 进行模型推理。 BMImage 也是通过 Bmcv 接口进行其他图像处理操作的基本数据类型。

  3. sail.Decoder

    解码器，可实现图像或视频的解码。

  4. sail.Encoder

    编码器，可实现图像或视频的编码，以及保存视频文件、推rtsp/rtmp流。

  5. sail.Bmcv Bmcv

    封装了常用的图像处理接口，支持硬件加速。

4. 其他常见的问题

如何更换apt的源

此处以清华大学镜像源为例，使用其他镜像源时，请确保使用ubuntu-ports

链接：ubuntu-ports | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

在使用apt命令时，板子网络连接正常，但显示连接超时，如何处理

请确保板子的ipv6连接是正常的，如果不行，可以强制apt使用ipv4连接，参考如下：

Ubuntu apt-get 强制使用 ipv4-CSDN博客

如何从摄像头采集视频并推rtsp/rtmp流

开发板自带ffmpeg工具，可以尝试用其推成jpeg格式并用sail.decoder进行解码

板子ffmpg工具部分编译参数如下

configuration: 
--enable-cross-compile
--cross-prefix=aarch64-linux-gnu-
--target-os=linux
--arch=aarch64
--cpu=cortex-a53
--pkg-config=pkg-config
--optflags= 
​
--enable-static 
--enable-shared 
--enable-pic 
--enable-swscale 
--enable-libfreetype 
--enable-libmp3lame 
--enable-bmcodec 
--enable-encoder=jpeg_bm 
--enable-decoder=jpeg_bm 
--disable-decoder=vc1_bm 
--disable-decoder=wmv1_bm 
--disable-decoder=wmv2_bm 
​
--enable-zlib 
--disable-autodetect 
​
--disable-decoder=wmv3_bm 
--disable-decoder=mpeg1_bm 
--disable-decoder=mpeg2_bm 
--disable-decoder=mpeg4_bm 
--disable-decoder=mpeg4v3_bm 
--disable-decoder=flv1_bm 
--disable-decoder=h263_bm 
--disable-decoder=cavs_bm 
--disable-decoder=avs_bm 
--disable-decoder=vp3_bm 
--disable-decoder=vp8_bm 
​
--enable-openssl 
--disable-encoder=bmx264 
--disable-sdl2 
--disable-ffplay 
--disable-decoder=h264_v4l2m2m 
--disable-vaapi 
--disable-hwaccel=h263_vaapi 
--disable-hwaccel=h264_vaapi 
--disable-hwaccel=hevc_vaapi 
--disable-hwaccel=mjpeg_vaapi 
--disable-hwaccel=mpeg2_vaapi 
--disable-hwaccel=mpeg4_vaapi 
--disable-hwaccel=vc1_vaapi 
--disable-hwaccel=vp8_vaapi 
--disable-hwaccel=vp8_vaapi 
--disable-hwaccel=wmv3_vaapi 
​
--extra-ldflags='-L/workspace/middleware-soc/buildit/release/bmvid/lib -L/workspace/middleware-soc/buildit/release/bmvid/lib -L/workspace/middleware-soc/buildit/release/bmvid/lib -L/workspace/middleware-soc/buildit/release/bmvid/lib -L/workspace/middleware-soc/buildit/release/bmvid/lib -L/workspace/middleware-soc/bm_opencv/3rdparty/libbmcv/lib/soc -Wl,-rpath=/workspace/middleware-soc/bm_opencv/3rdparty/libbmcv/lib/soc -L/workspace/middleware-soc/prebuilt/lib -Wl,-rpath=/workspace/middleware-soc/prebuilt/lib' --extra-libs='-Wl,--start-group -lbmvideo -lrt -lssl -lcrypto -ldl -lresolv -lstdc++ -lgb28181_sip -lvpp_cmodel -lm -lbmion -lbmvpulite -lbmvpuapi -lbmvppapi -lbmjpulite -lbmjpuapi -lbmcv -lbmlib -Wl,--end-group' --extra-cflags='-I/workspace/middleware-soc/buildit/release/bmvid/include -I/workspace/middleware-soc/buildit/release/bmvid/include -I/workspace/middleware-soc/buildit/release/bmvid

usb摄像头需要安装驱动，但提示没有headers，如何处理

可以先更新软件源

sudo apt-get update

然后运行这个文件即可

推荐使用免驱摄像头

如何使用混精度开发

可以把一些损失较为严重的层使用fp32量化，在model_deploy时，指定参数--test_input 和 --test_rusult，可以通过加入--test_all，--debug参数，看看哪层精度掉了，对比全部的层，更精准定位问题

使用INT8精度量化，性能不降反增，这是什么原因

INT8性能不降反增可能是和layergroup有关，这是一个比较棘手的问题，因为并非所有模型都支持int8格式，所以这种情况在某些模型中是预期内的。

layergroup：TPUMLIR 开源工具链项目 | LayerGroup

在模型移植时候，我把芯片指定为1684X就可以，但是1684就不行，这是什么原因

某些算子已针对BM1684X进行了优化，但由于其他原因，尚未对BM1684进行同样的适配，因此这些算子不支持BM1684。

其他问题

  1. 运行df -h命令来检查根目录的磁盘空间使用情况。若满，请考虑将文件转移到其他有可用空间的分区。如果需要根本性的解决办法，可以考虑增加硬盘容量。

  2. 系统崩了，重装系统。

5. 如何正确提问

ZH：GitHub - tvvocold/How-To-Ask-Questions-The-Smart-Way: How To Ask Questions The Smart Way 《提问的智慧》中文版

EN：http://www.catb.org/~esr/faqs/smart-questions.html

在提问题时候，文字需包含：

  1. 使用了什么工具（版本号）

  2. 执行了什么命令

  3. 遇到了什么问题

  4. log是什么（log须保证报错完整）

    P.S. 对于一直模型出现的问题，请提供转 mlir 文件直至转 bmodel 文件的所有命令和相应输出

例：

在使用mlir工具对于使用了cubic差值的模型进行转换时，出现了如下错误： log如下：https://mappland.top/wordpress/index.php/archives/226 模型地址：https://mappland.top/files/milr/l1_1.onnx

（该链接已失效，仅作为提问参考）

算能开发者社区
关注
  • 26
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
实操: 如何在AirBox上跑Stable Diffusion 3
08-06 1054
以下文章来源于Radxa ，作者瑞莎是一种多模态扩散变换器 (MMDiT) 文本到图像模型，在图像质量、排版、复杂提示理解和资源效率方面具有显著提升的性能。目前瑞莎团队使用 Stable Diffusion 3 Medium 开源模型，通过 SOPHON SDK 移植到 SG2300X 处理器系列产品上进行本地 TPU 硬件加速推理，实现在 radxa Airbox 上离线快速生成特色风格且带清晰文本的图片。
博客
在 Duo S 上使用 TDL SDK 高效部署人脸检测模型
08-06 634
TDL SDK 是一款集成算法开发包，提供了便捷的编程接口，使开发者们能够更快、高效地将各种深度学习技术应用于自己的产品和服务中。无论开发者是否是深度学习领域的专家，有了TDL SDK作为助手，都能轻松构建智能应用。本文我们将在 Duo S 上使用 TDL SDK 高效部署人脸检测模型
博客
RISC-V竞赛｜第二届 RISC-V 软件移植及优化锦标赛报名正式开始！
08-06 720
为了推动 RISC-V 软件生态更快地发展，吸引更多的开发者加入 RISC-V 生态中来，算能作为RISC-V生态的领先企业，并作为竞赛赛题合作方，与联合发起活动。
博客
太强了！Github大佬把NuttX移植到Duo-S上了！
08-06 571
Github大佬把NuttX移植到Duo-S上了！！Milk-V DuoS 是一款搭载SG2000 主控，拥有512MB内存和丰富 IO 接口的紧凑型嵌入式开发平台。它集成了 WI-FI 6/BT 5 无线功能，并配备 USB 2.0 HOST 接口和 100Mbps 以太网端口，方便用户使用。它支持双摄像头（2x MIPI CSI 2 通道）和 MIPI 视频输出（MIPI DSI 4 通道），可实现多种应用。
博客
TPU编程竞赛系列｜2024中国国际大学生创新大赛产业命题赛道，算能11项命题入选！
08-06 193
近日，（原“互联网+”大赛）产业命题正式公布，算能十一项命题成功入选。本次算能赛题主要聚焦于国产TPU处理器的边缘系统开发和RISC-V架构处理器的系统设计。大赛提供了多款开发板以供参赛者使用和选择，我们诚挚邀请广大开发者前来挑战！
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1254
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 972
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署
01-05 1387
也就是说，这个下采样的模糊核是预先定义好的。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作。SophonSDK是算能科技基于其自主研发的 AI芯片所定制的深度学习 SDK，涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力，为深度学习应用开发和部署提供易用、高效的全栈式解决方案。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作[3]。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1162
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1459
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1340
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 275
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 638
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 413
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 174
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 339
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2440
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
TPU-MLIR——实现Chatglm2-6B大模型移植部署
09-21 487
本项目实现BM1684X部署语言大模型。通过编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
博客
深度学习编译器关键组件
09-14 327
为了避免这种情况，DL编译器采用了两种方法来实现硬件相关的优化：1）在LLVM的上层IR（例如，基于Halide的IR和基于Polyhedral的IR）中执行特定于目标的循环变换；TVM将Halide IR改进为符号IR，它消除了对LLVM的依赖，重构了项目模块的结构和Halide的IR设计，追求更好的组织以及对graph-IR和前端语言（如Python）的可访问性。事实上，相同的操作在不同的数据布局中的性能是不同的，并且最佳的布局在不同的硬件上也是不同的。因此，DCE和CSE是在其他图优化之后应用的。
博客
实现CenterNet图像分割算法模型的转换和量化（SDK0301-转ONNX编译）
09-07 355
如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值