适配算能BM1684开发板，bmodel推理模型转换

通过mlir转bmodel

一、文件转移

从算能官网technical center (sophgo.com)下载最新的版本，下载下来之后解压出来，再Ubuntu系统中创建一个sophon文件夹存放后续用到的文件，将tpu-mlir_v1.2.8-g32d7b3ec-20230802.tar.gz文件放入Ubuntu系统中的sophon文件夹。

二、配置docker环境

1、docker安装参考可以参考下面文章

最详细的ubuntu 安装 docker教程 - 知乎 (zhihu.com)

2、安装完成后使用下面命令下载算能docker环境（此步骤是在sophon文件夹中使用）

docker pull sophgo/tpuc_dev:v2.2

3、安装完成后，使用以下命令启动docker环境（此步骤是在sophon文件夹中使用）

docker run --privileged --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:v3.2
# myname只是举个名字的例子, 请指定成自己想要的容器的名字

三、前期准备

1、进入docker环境后，首先运行下面代码解压转换环境。（一行一行运行）

tar zxf tpu-mlir_xxxx.tar.gz
source tpu-mlir_xxxx/envsetup.sh

2、运行下面命令完成前期准备操作。（一行一行运行）如果转换自己的模型这一步可以跳过

mkdir model_yolov5s && cd model_yolov5s
wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx
cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .
mkdir workspace && cd workspace

3、运行下面命令将yolov5.onnx转换为mlir模型，全部复制使用

model_transform.py \
    --model_name yolov5s_1684_f32 \
    --model_def ../yolov5s.onnx \
    --input_shapes [[4,3,640,640]] \
    --mean 0.0,0.0,0.0 \
    --scale 0.0039216,0.0039216,0.0039216 \
    --keep_aspect_ratio \
    --pixel_format rgb \
    --mlir yolov5s_1684_f32.mlir

四、mlir模型转bmodel模型

1、继续上一步操作运行下面命令，转换fp32的适配1684的模型。

model_deploy.py \
    --mlir yolov5s_1684_f32.mlir \
    --quantize F32 \
    --chip bm1684 \
    --model yolov5s_1684_f32.bmodel

2、运行完成后将该文件夹内的yolov5s_1684_f32.bmodel复制出来即可。

通过nntc转bmodel

第一步

安装Ubuntu，在Ubuntu中配置docker

配置完成

输入 service docker start

在输入 service docker status

如果显示正在运行即可

或输入 sudo docker ps 出现文字即可

第二步

复制sophon-demo到Ubuntu内，解压

第三步

cd进入sophon-demo复制下面内容 在Ubuntu内输入

docker run -v $PWD/:/workspace  -it sophgo/tpuc_dev:latest

cd 进入 tpu-nntc/scripts 输入下面命令（每次都要运行一次）

source ./scritpts/envsetup.sh

第四步

下载yolov5 6.1版本，修改yolo.py文件内 forward函数中的return

return x if self.training else x

再修改export.py文件 转换时的torch环境要为cpu版本 运行时使用MoudelChange虚拟环境 在conda中进入MoudelChange虚拟环境 使用下面命令

$ python export.py --weights person_best.pt --include torchscript

其中person_best.pt为要转换pt文件 将该pt文件放在yolov5 6.1文件夹内，终端运行上述命令即可

出现success即为成功

第五步

打开netron （本地版/在线版都可） 将转化的模型拖入

点击x，查看右边OUTPUTS三个值是否对应相等

相等即可，把person_best.torchscript文件改名为person_best.torchscript.pt放入Ubuntu内的sophon-demo/sample/YOLOv5/models/torch/

cp person_best.torchscript.pt /media/sophon-demo/sample/YOLOv5/models/torch/

ls查看，文件已经放到该文件下，成功

第六步

vim

vim gen_fp32bmodel_nntc.sh

修改内容best.rorchscript.pt文件为自己的文件名称

:wq退出

 ./gen_fp32bmodel_nntc.sh BM1684

使用上述命令运行

出现success即为成功

存在了/workspace/sample/YOLOv5/scripts