yolo-fastestv2 训练部署流程

训练

1. 数据集准备

yolo fastest,darknet yolo3 相同,需要设置 .name, .data
train.txt 格式: /home/qiuqiu/Desktop/dataset/train/000001.jpg
label.txt 格式: 11 0.344192634561 0.611 0.416430594901 0.262

2. anchor聚类

结果保存在 anchors6.txt
python genanchors.py --traintxt /media/ubuntu/数据/ccl/datasets/NWPU_VHR_10/2007_train.txt

3. 训练

直接 运行 python train.py --data data/nv10.data 即可

4. map 计算

python evaluation.py --data data/nv10.data --weights weights/coco-290-epoch-0.456773ap-model.pth

5. 测试

python test.py --data data/coco.data --weights modelzoo/coco2017-0.241078ap-model.pth --img img/000139.jpg
python test.py --data data/nv10.data --weights weights/coco-290-epoch-0.456773ap-model.pth --img img/017.jpg

6. batchsize, step(iteration), epoch 参数设置

=> iteration = (exampleNums * epoch) / batchsize
=> epoch: 一个epoch表示所有训练样本运算学习一遍
=> iteration/step: 表示每运行一个iteration/step，更新一次参数权重，即进行一次学习，每一次更新参数需要batch size个样本进行运算学习，根据运算结果调整更新一次参数。
    1个 iteration 等于 使用batchsize个样本训练一次, 样本step 也被称为 iteration 迭代；完成一次epoch 需要的batch 个数, batch numbers 就是 iterations .
=> batch size:1次迭代所使用的样本量

nv10训练集合 585,测试集 65； batch_size=128；因此训练集合 需要 585300/128=1364
假设有20000个样本，batch size 为200，epoch为1， 则iteration = 200001/200=100
iteration=20000 , epoch = 20000*64 / 585 = 2200;

相关报错

• 报错1: 训练使用多卡,而测试使用单卡,因此出现一下错误；权重前面 多了一个module

Missing key(s) in state_dict: “backbone.first_conv.0.weight”, “backbone.first_conv.1.weight”, “backbone.first_conv.1.bias”,
Unexpected key(s) in state_dict: “module.backbone.first_conv.0.weight”,“module.backbone.first_conv.1.weight”, “module.backbone.first_conv.1.bias”,

解决方案:
if torch.cuda.device_count() > 1:
model = torch.nn.DataParallel(model)
但是 不推荐，因为之前的代码 我改成dp训练模式了，发现训练效果 还不如 cpu上，最终再github 的issue 上看到一个解答，说是 他改进的这个代码版本，对cpu更友好。

• 报错2: RuntimeError: Pin memory thread exited unexpectedly
  解决方案: torch.utils.data.DataLoader 中,将 pin_memory=False,

7. NCNN部署

(1) Convert onnx

python pytorch2onnx.py --data data/coco.data --weights modelzoo/coco2017-0.241078ap-model.pth --output yolo-fastestv2.onnx

(2) onnx-sim

python3 -m onnxsim yolo-fastestv2.onnx yolo-fastestv2-opt.onnx
cp yolo-fastestv2-opt.onnx ../ncnn/build/tools/onnx

(3) Build NCNN

git clone https://github.com/Tencent/ncnn.git
cd ncnn
mkdir build
cd build
cmake ..
make
make install
cp -rf ./ncnn/build/install/* ./Yolo-FastestV2-main/sample/ncnn

其中 cp参数 含义：
-R/r：递归处理，将指定目录下的所有文件与子目录一并处理；
-f：强行复制文件或目录，不论目标文件或目录是否已存在；

(4) Covert ncnn param and bin
#1 将 onnx 转换成param 和 bin

cd ncnn/build/tools/onnx
./onnx2ncnn yolo-fastestv2-opt.onnx yolo-fastestv2.param yolo-fastestv2.bin

#2 ncnnoptimize 工具会自动将无用的 MemoryData 删除，并且自动将最终的 blob count 设置为合适的数量，顺便转为 fp16 存储减小模型体积

cp yolo-fastestv2* ../   # ncnnoptimize 在当前目录的上一层目录
cd ../
./ncnnoptimize yolo-fastestv2.param yolo-fastestv2.bin yolo-fastestv2-opt.param yolo-fastestv2-opt.bin 

#3 将在ncnn生成的 param and bin 复制到 yolo-fastestV2 中的 sample/ncnn/model 文件下

cp yolo-fastestv2-opt* ../../../Yolo-FastestV2-main/sample/ncnn/model

(5) run sample

cd ../../../Yolo-FastestV2/sample/ncnn
sh build.sh
./demo

注意,这里一定要去 demo.cpp 里面修改

（1） api.loadModel中 模型路径
（2）测试图片路径 cv::Mat cvImg = cv::imread(“058.jpg”);
（3） class_names,类别名

去src/yolo-fastestv2.cpp 修改类别 numCategory = 10; 你的数据集类别数

必须修改,否则报错 段错误.

8. 最后放一个 sh 脚本

这里的 ncnn 和 Yolo-FastestV2-main 在同一级目录

#1 生成 onnx
python pytorch2onnx.py --data data/nv10.data --weights weights/nv10-750-epoch-0.432743ap-model.pth --output yolo-fastestv2_nv10.onnx
python -m onnxsim yolo-fastestv2_nv10.onnx yolo-fastestv2_nv10-opt.onnx
cp yolo-fastestv2_nv10-opt.onnx ../ncnn/build/tools/onnx

# cp 这个 只需要 执行一次
#cp -rf ./ncnn/build/install/* ./Yolo-FastestV2-main/sample/ncnn


#2 转 ncnn 为 param 和 bin
cd ../ncnn/build/tools/onnx
./onnx2ncnn yolo-fastestv2_nv10-opt.onnx yolo-fastestv2_nv10.param yolo-fastestv2_nv10.bin
cp yolo-fastestv2_nv10* ../   # ncnnoptimize 在当前目录的上一层目录
cd ../
./ncnnoptimize yolo-fastestv2_nv10.param yolo-fastestv2_nv10.bin yolo-fastestv2_nv10-opt.param yolo-fastestv2_nv10-opt.bin 1
cp yolo-fastestv2_nv10-opt* ../../../Yolo-FastestV2-main/sample/ncnn/model


#3 编译运行
cd ../../../Yolo-FastestV2-main/sample/ncnn
# 注意,这里一定要去 demo.cpp 里面修改
      # api.loadModel中 模型路径
      # 测试图片路径  cv::Mat cvImg = cv::imread("058.jpg");
      # class_names,类别名
# src/yolo-fastestv2.cpp 修改类别 numCategory = 10; 必须修改,否则报错 段错误.
sh build.sh
./demo

8. 部署到 开发板RK3399pro

注意点：

• 在 linux端，跑通上面流程后，只需要将 Yolo-FastestV2-main\sample\ncnn 这个文件夹 复制到 rk3399 板子上；
• ncnn 的下载编译 和 linux端相同
• 编译运行 同上 linux 端