准备工作
- yolov5 v5.0:
git clone https://github.com/ultralytics/yolov5.git
git checkout v5.0
- ncnn源码
git clone https://github.com/Tencent/ncnn.git
cd ncnn
git submodule update --init
- 安装依赖
sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libvulkan-dev vulkan-utils libopencv-dev
- 安装vulkan_sdk(作者下载的是vulkansdk-linux-x86_64-1.2.148.1.tar.gz)
# https://vulkan.lunarg.com/sdk/home
wget https://sdk.lunarg.com/sdk/download/1.2.154.0/linux/vulkansdk-linux-x86_64-1.2.154.0.tar.gz?Human=true -O vulkansdk-linux-x86_64-1.2.154.0.tar.gz
tar -xf vulkansdk-linux-x86_64-1.2.154.0.tar.gz
export VULKAN_SDK=$(pwd)/1.2.154.0/x86_64
sudo apt install mesa-vulkan-drivers
- 安装protobuf3.1.0(坑最多)
wget https://github.com/google/protobuf/archive/v3.1.0.tar.gz
tar xvzf protobuf-3.1.0.tar.gz
./autogen.sh
./configure --prefix=/usr/local/protobuf
sudo make
sudo make check
sudo make install
sudo ldconfig
编译ncnn
cd ncnn
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DNCNN_VULKAN=ON -DNCNN_SYSTEM_GLSLANG=ON -DNCNN_BUILD_EXAMPLES=ON ..
make -j$(nproc)
此时如果报错
tools/caffe/CMakeFiles/caffe2ncnn.dir/build.make:70: recipe for target 'tools/caffe/CMakeFiles/caffe2ncnn.dir/caffe2ncnn.cpp.o' failed
make[2]: *** [tools/caffe/CMakeFiles/caffe2ncnn.dir/caffe2ncnn.cpp.o] Error 1
CMakeFiles/Makefile2:203: recipe for target 'tools/caffe/CMakeFiles/caffe2ncnn.dir/all' failed
make[1]: *** [tools/caffe/CMakeFiles/caffe2ncnn.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2
解决方案:
在ncnn/cmakelist.txt中加一句add_definitions(-std=c++11)
.pt文件转.onnx文件
将yolov5从torch框架转到ncnn上前需要用onnx工具先将.pt模型文件转化为.onnx文件,这里主要有两个中的步骤
# pip install onnx
# pip install onnx-simplifier
python models/export.py --weights yolov5s.pt --img 640 --batch 1 #将.pt文件用onnx转化为.onnx文件
python -m onnxsim yolov5s.onnx yolov5s-sim.onnx #onnxsim 精简模型
onnx2ncnn(有坑)
在yolov5的环境下执行,./onnx2ncnn 在build/tools/onnx/下
./onnx2ncnn yolov5s-sim.onnx yolov5s.param yolov5s.bin #这里yolov5s-sim.onnx为“.pt文件转.onnx文件”生成的文件,输出yolov5s.param yolov5s.bin
这里会出现以下问题,这是由于ncnn不支持focus,这是focus模块转换的报错,我们需要手动修改生成的.param文件的参数。
可以用vim或者其他文本编辑器打开.param文件,该文件主要修改两个大的地方,如图所示:
修改之后
这里主要是删除了不支持的层,并在ncnn中实现focus,删除10层 添加一层 减少了9层
添加的一层的输出可以根据下一层的输入填写,图中已标红,这里176的计算方法为原始层数185-10+1(添加的Yolov5Focus层),167是下一个卷积层的输入。
主要完成下面的转化:
第二处 修改网络输出的shape,例如原图:
第二处修改后:
这里输出全部改为-1(修改位置为绿色框选的部分),否则回归会出来一堆bounding box,同时记住红色框出的字段,该字段为网络输出的name,在预测代码中,会根据该字段去结果,所以不同的网络需要修改此处。
ncnnoptimize优化
./ncnnoptimize yolov5s.param yolov5s.bin yolov5s-opt.param yolov5s-opt.bin 1
其中最后的flag 如果是0指的的是fp32,如果是1指的是fp16
C++代码处理
路径:ncnn/examples/yolov5.cpp
这里主要修改网络的输入和输出,输入为模型训练时image 的size,输出层name为第四步中红色框出的字段。
测试
加载模型更改为自己的模型yolov5s-opt.param 和yolov5s-opt.bin
再次编译和运行展示
cd build
sudo make install
cd examples
./yolov5 example.jpg