基于HRNet的姿态识别算法移植与测试

已于 2023-01-31 09:40:38 修改
阅读量416 收藏 3
点赞数 3
分类专栏： TPU实战课 文章标签： 算法 docker ubuntu
于 2022-10-14 10:56:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lily_19861986/article/details/127314853
版权

课程全程将在SOPHGO（算能）云平台上进行。
本次课程将介绍:

  1. SOPHGO（算能）PCIE 云平台环境搭建
  2. HRNet的姿态识别算法
  3. 通过BMNNSDK进行HRNet模型转换和量化
  4. 实现算法的移植
  5. 部署和测试
  6. 相关链接

版本环境： 本次课程使用的版本环境适配 SOPHON SDK V2.7.0 和 SOPHON SDK V3.0.0 版本，其他版本可能会出现不兼容的情况。目前课程的云环境版本是SOPHON SDK V2.7.0


1. SOPHGO（算能）云平台环境搭建

1.1. 开通云平台账号   

参考： https://cloud.sophgo.com/tpu.pdf

1.2. 开发环境初始化  

1.2.1 进入命令行模式，进去默认在/home/sophgo目录  

 1.2.2 安装驱动  

# 切换成root权限
sudo -i
cd /home/sophgo/bmnnsdk2-bm1684_v2.7.0/scripts
bash ./install_driver_pcie.sh

执行ls /dev/bm*, 如果可以看到以下设备节点，表示驱动安装成功： 

1.2.3 加载Docker，并初始化环境  

apt install unzip
cd /home/sophgo/bmnnsdk2-bm1684-ubuntu-docker-py37/
docker load -i bmnnsdk2-bm1684-ubuntu.docker

1.2.4 通过脚本创建Docker容器

cd  /home/sophgo/bmnnsdk2-bm1684_v2.7.0/
bash ./docker_run_bmnnsdk.sh

# 自动进入Docker容器
cd /workspace/scripts && bash install_lib.sh nntc

# 每次进入镜像都要source 
source /workspace/scripts/envsetup_pcie.sh 

#  安装sophon包
pip3 install /workspace/lib/sail/python3/pcie/py37/sophon-2.7.0-py3-none-any.whl

可以通过python3 -c "import sophon.sail" 来检查是否出现问题   

1.2.5 通过云空间文件系统拷贝代码到Docker容器中

打开云空间文件系统：   


上传文件：文件会被存储在服务器的 /tmp 目录下  

 拷贝文件到Docker容器中： 
Docker容器的workspace目录被映射到 /home/sophgo/bmnnsdk2-bm1684_v2.7.0/

注意：本教程后续步骤均在Docker容器中进行

2. HRNet的姿态识别算法  

仓库链接： https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

论文链接： https://arxiv.org/abs/1902.09212 

HRNet pose，是中科大和微软亚洲研究院发布的人体姿态估计模型， 拥有与众不同的并联结构，可以随时保持高分辨率表征。

3. 通过BMNNSDK进行HRNet模型转换 

3.1 下载项目文件 

git clone https://github.com/sophgo/sophpi-shaolin

3.2 准备推理的模型 

cd HRNet/v2.7.0/scripts/
bash download_from_nas.sh

3.3 生成FP32 BModel 

BMNETO是针对ONNX的模型编译器，可以把ONNX格式的model经过图编译优化后，转换成BMRuntime所需的文件。在编译模型的同时，可选择将每一个操作的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。 可参考文档 https://doc.sophgo.com/docs/3.0.0/docs_latest_release/nntc/html/usage/bmneto.html 

执行以下命令转为bmodel

bash gen_fp32bmodel.sh

部分输出：

3.4 查看FP32 BModel相关信息   

命令：bm_model.bin --info xxxx.bmodel

bm_model.bin --info compilation/compilation.bmodel

命令：bmrt_test --bmodel xxxxxxx.bmodel

bmrt_test --bmodel compilation/compilation.bmodel

3.5 分层量化：生成INT8 BModel  

int8模型是原始fp32模型量化后得到的。量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。 BM168X支持INT8量化模型的部署。在通用流程中，需要先借助于算能提供的量化工具对fp32模型进行量化。 ​Qantization-Tools 如下图所示，是算能科技自主开发的网络模型量化工具，它解析各种已训练好的32bit浮点网络模型，生成8bit的定点网络模型。该8bit定点网络模型，可用于算能科技SOPHON系列AI运算平台。在SOPHON运算平台上，网络各层输入、输出、系数都用8bit来表示，从而在保证网络精度的基础上，大幅减少功耗，内存，传输延迟，大幅提高运算速度。  

 量化的流程是：  
- 使用量化数据集生成lmdb格式数据  
- 生成FP32 umodel
- 生成INT8 umodel
- 精度测试 (可选)  
- 生成INT8 bmodel


在SophonSDK v3.0.0版本中，提供了使用一键假数据实现量化，对应脚本gen_int8bmodelv3.0.sh.  

通过执行以下命令可以生成INT8 bmodel(这里不涉及精度测试，过程用时较长)。  

bash gen_int8bmodel.sh

部分输出：

4. 实现算法的移植

要在x86 PCIe平台使用bm_opencv可添加环境变量如下:   
export PYTHONPATH=$PYTHONPATH:$REL_TOP/lib/opencv/pcie/opencv-python/

5. 部署和测试

5.1 Python示例程序测试

文件参数

bmodel.py [-h] [--bmodel-path BMODEL_PATH] [--img-root IMG_ROOT]
                 [--json-file JSON_FILE] [--out-img-root OUT_IMG_ROOT]
                 [--kpt-thr KPT_THR] [--radius RADIUS] [--thickness THICKNESS]

optional arguments:
  -h, --help            show this help message and exit
  --bmodel-path BMODEL_PATH
                        bmodel path
  --img-root IMG_ROOT   Image root
  --json-file JSON_FILE
                        Json file containing image info.
  --out-img-root OUT_IMG_ROOT
                        Root of the output img file. Default not saving the
                        visualization images.
  --kpt-thr KPT_THR     Keypoint score threshold
  --radius RADIUS       Keypoint radius for visualization
  --thickness THICKNESS
                        Link thickness for visualization

执行以下命令即可实现推理(路径已经处理好)

cd ../python
# FP32 BModel
python3 bmodel.py # 默认BModel为../dataset/mmpose_fp32.bmodel
# INT8 BModel
python3 bmodel.py --bmodel-path ../dataset/mmpose_int8b1.bmodel

输出（FP32与INT8大同小异）：

预测的可视化结果保存在 ./vis_results文件夹下    


5.2 获得推理生成的图片

注意： 由于是在Docker容器中，如果想要看到推理的可视化结果需要退出容器，并打开Docker容器映射的文件夹，在对应位置将图片拷贝到
/tmp 文件夹下后可在云平台文件系统中下载。

# 退出容器
exit
# 进入Docker容器映射的文件夹，即Docker容器中的 workspace/目录
cd /home/sophgo/bmnnsdk2-bm1684_v2.7.0/
# 打开hrnet项目, ${hrnet}即项目所在路径
cd ${hrnet}/python/vis_results
# 拷贝需要的推理结果图片
cp *.jpg /tmp/

如图所示  

结果展示：  

6. 相关链接   

样例开源仓库：https://github.com/sophon-ai-algo/examples  
BM1684 BMNNSDK文档：https://developer.sophgo.com/site/index/document/6/all.html   
编译工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/nntc/html/index.html  
量化工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/calibration-tools/html/index.html  
算能量化工具介绍及使用说明：https://www.bilibili.com/video/BV1DA4y1S75p?spm_id_from=333.999.0.0  
官网视频教程：https://developer.sophgo.com/site/index/course/all/all.html  
官网文档中心：https://developer.sophgo.com/site/index/document/all/all.html  
官网下载中心：https://developer.sophgo.com/site/index/material/all/all.html  
官网论坛：https://developer.sophgo.com/forum/view/43.html 

算能开发者社区
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1196
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 949
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署
01-05 1353
也就是说，这个下采样的模糊核是预先定义好的。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作。SophonSDK是算能科技基于其自主研发的 AI芯片所定制的深度学习 SDK，涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力，为深度学习应用开发和部署提供易用、高效的全栈式解决方案。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作[3]。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1132
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1430
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1306
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 250
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 626
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 385
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 160
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 326
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2414
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
TPU-MLIR——实现Chatglm2-6B大模型移植部署
09-21 445
本项目实现BM1684X部署语言大模型。通过编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
博客
深度学习编译器关键组件
09-14 314
为了避免这种情况，DL编译器采用了两种方法来实现硬件相关的优化：1）在LLVM的上层IR（例如，基于Halide的IR和基于Polyhedral的IR）中执行特定于目标的循环变换；TVM将Halide IR改进为符号IR，它消除了对LLVM的依赖，重构了项目模块的结构和Halide的IR设计，追求更好的组织以及对graph-IR和前端语言（如Python）的可访问性。事实上，相同的操作在不同的数据布局中的性能是不同的，并且最佳的布局在不同的硬件上也是不同的。因此，DCE和CSE是在其他图优化之后应用的。
博客
实现CenterNet图像分割算法模型的转换和量化（SDK0301-转ONNX编译）
09-07 324
如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。
博客
Milk-V Duo开发板实战——基于MobileNetV2的的图像分类
08-31 1011
本教程介绍使用工具链对模型进行转换，生成MLIR以及MLIR量化成INT8模型，并在开发板上进行部署测试，完成图像分类任务，涉及以下步骤：搭载的是，该芯片支持和,目前不支持TFLite模型量化数据类型方面，目前支持以下对此3个步骤展开详细介绍。
博客
ResNet18云空间部署
08-24 301
转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。编译完成后, 会生成名为 ${model_name}_1684x_f32.bmodel 的文件。指定模型定义文件, 比如`.onnx`或`.tflite`或`.prototxt`文件。指定输入的shape, 例如[[1,3,640,640]];如果不指定, 则resize成模。指定输出的名称, 如果不指定, 则用模型的输出;图片每个通道的比值, 默认为1.0,1.0,1.0。
博客
Sophnet介绍及云空间申请使用
08-17 326
SOPHNET 平台是基于SOPHON智算产品打造的云边统一的AI服务平台，是人工智能算力中心的基础设施，平台通过开放AI训练和AI推理两大核心能力，赋能千行百业。
博客
论文讲解——TPU-MLIR: A Compiler For TPU Using MLIR
08-10 496
对经过优化的TOP MLIR进行多次前向推理，获取每个中间Tensor的数据，并计算它们的统计信息，通过KL方法得到初步的阈值，然后使用误差/余弦相似度方式再微调阈值，是的INT8的计算结果和FP32的结果尽量相似。通过深层次的依赖关系来进行更为合理的切割：越深依赖关系越复杂，不限于一个op层，不是在一层conv上做切割，而是计算一个conv输出被下一个conv利用的相关性，做整个group的相关性的切割，用计算来代替搬运。TPU Dialect是用于表示TPU芯片的Kernel库，与具体的设备有关。
博客
Swintransformer模型的优化
08-07 885
自从Transformer在NLP任务上取得突破性的进展之后，业内一直尝试着把Transformer用于CV领域。之前的若干尝试都是将Transformer用在了图像分类领域，但这些方法都面临两个非常严峻的挑战，一是多尺度问题，二是计算复杂度的问题。基于这两个挑战，swint的作者提出了一种层级式提取的Transformer，并通过移动窗口的方式来学习特征。在窗口内计算自注意力可以带来更高的效率；同时通过移动的操作，让相邻的窗口之间有了交互，变相达到了一种全局建模的能力，进而解决了上面两个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值