yolov5 7.0版本部署手机端。通过pnnx导出ncnn。

流程

网络yolov5 的部署已经有很多了，但是他们很多都是老版本，2023.12.03最新的版本是7.0。导致现在部署碰到各种问题。如下：

1. （根源） yolov5 export.py导出onnx时添加train参数。但是train参数在最新的7.0版本已经被去掉了。导致问题。
2. 没有train参数后，使用export.py 导出onnx,再将onnx转ncnn时报错。修改onnx模型麻烦且容易出问题。

本文使用pnnx代码库https://github.com/pnnx/pnnx将torchscript转为ncnn.避免上述问题。流程如下：

配置ncnn android yolov5

代码库：https://github.com/nihui/ncnn-android-yolov5。先使用代码库中提供的yolov5s ncnn权重。手机端能正常运行并产生输出。

导出自己模型的ncnn

修改yolo.py文件

老版本的export.py 中，通过添加train参数，去除模型中的后处理。但是新版本中，这个参数没了，所以我们需要将模型中的后处理去掉。
找到yolov5代码中的models->yolo.py文件，将Detect类下面的forward函数替换（大概是56-80行），修改为下面的forward

    def forward(self, x):
        z = []  # inference output
        for i in range(self.nl):
            feat = self.m[i](x[i])  # conv
            # x(bs,255,20,20) -> x(bs,20,20,255)
            feat = feat.permute(0, 2, 3, 1).contiguous()
            z.append(feat.sigmoid())
        return tuple(z)

导出TorchScript文件

直接导出即可

python export.py --weights yolov5s.pt  --include torchscript

pnnx转torchscript为ncnn

代码库:https://github.com/pnnx/pnnx.直接使用releases中的可执行文件即可。使用下面的命令转。需要注意的是zsh不支持官网的[]命令，需要用""包裹

'./pnnx'  'yolov5s.torchscript'    "inputshape=[1,3,640,640]"

正常情况下，在yolov5s.torchscript的文件中已经产生了yolov5s.ncnn.bin 和yolov5s.ncnn.param。这就是我们要的ncnn文件。

安卓运行

将上面的yolov5s.ncnn.bin 和yolov5s.ncnn.param都放入ncnn-android项目文件夹。路径是ncnn-android-yolov5/app/src/main/assets/，这里面应该有一个yolov5s.bin和yolov5s.param。我们将我们转的模型也放进去。如下图。

然后我们修改yolov5ncnn_jni.cpp文件（上图中的绿色框）。修改模型权重路径，输入输出、anchors大小和类别名。

权重路径

全局搜索yolov5.load_param，将后面的yolov5s.param修改为自己的param名。就在这个代码附近有bin的加载.同理修改

输入输出

打开https://netron.app/，然后将param拖进去， 最上面的这个名字是in0，将in0填写到ex.input中。 模型有三个输出，分别对应stride 8,stride 16和stride 32.将这个输出的名字也填写到对应位置。一般情况下，stride 8对应out0,stride 16对应out1,stride 32对应out2.

最上面的模型输出，以及对应的名字
下面是应该填写的位置。红色是input,绿色是output.

模型的第一个头。同理可找另外两个头。

anchors 大小

anchors的大小就在ex.extract的下方。一共有3个地方需要填写，对应stride 8（小物体）,stride 16和stride 32（大物体）。如果自己的网络anchors大小没变则不用改。下图是stride 8 的修改。

类别名

类别名。全局搜索static const char* class_names。改成自己的就好了。

generate_proposals方法修改

把整个generate_proposals方法的代码用下面的代码替换。大概在yolov5ncnn_jni.cpp文件的185行。

static void generate_proposals(const ncnn::Mat& anchors, int stride, const ncnn::Mat& in_pad, const ncnn::Mat& feat_blob, float prob_threshold, std::vector<Object>& objects)
{
    const int num_w = feat_blob.w;
    const int num_grid_y = feat_blob.c;
    const int num_grid_x = feat_blob.h;

    const int num_anchors = anchors.w / 2;
    const int walk = num_w / num_anchors;
    const int num_class = walk - 5;

    for (int i = 0; i < num_grid_y; i++)
    {
        for (int j = 0; j < num_grid_x; j++)
        {

            const float* matat = feat_blob.channel(i).row(j);

            for (int k = 0; k < num_anchors; k++)
            {
                const float anchor_w = anchors[k * 2];
                const float anchor_h = anchors[k * 2 + 1];
                const float* ptr = matat + k * walk;
                float box_confidence = ptr[4];
                if (box_confidence >= prob_threshold)
                {
                    // find class index with max class score
                    int class_index = 0;
                    float class_score = -FLT_MAX;
                    for (int c = 0; c < num_class; c++)
                    {
                        float score = ptr[5 + c];
                        if (score > class_score)
                        {
                            class_index = c;
                            class_score = score;
                        }
                        float confidence = box_confidence * class_score;

                        if (confidence >= prob_threshold)
                        {
                            float dx = ptr[0];
                            float dy = ptr[1];
                            float dw = ptr[2];
                            float dh = ptr[3];

                            float pb_cx = (dx * 2.f - 0.5f + j) * stride;
                            float pb_cy = (dy * 2.f - 0.5f + i) * stride;

                            float pb_w = powf(dw * 2.f, 2) * anchor_w;
                            float pb_h = powf(dh * 2.f, 2) * anchor_h;

                            float x0 = pb_cx - pb_w * 0.5f;
                            float y0 = pb_cy - pb_h * 0.5f;
                            float x1 = pb_cx + pb_w * 0.5f;
                            float y1 = pb_cy + pb_h * 0.5f;

                            Object obj;
                            obj.x = x0;
                            obj.y = y0;
                            obj.w = x1 - x0;
                            obj.h = y1 - y0;
                            obj.label = class_index;
                            obj.prob = confidence;

                            objects.push_back(obj);

                        }
                    }
                }
            }
        }
    }
}

结果

点击运行。

参考：https://zhuanlan.zhihu.com/p/606440867