基于MindSpore的FasterRCNN实现

本文使用MindSpore来复现FasterRCNN这个经典的检测网络。这里仅列出了部分重要代码片段，完整代码请参考：

https://gitee.com/mindspore/mindspore/blob/master/model_zoo/official/cv/faster_rcnnFasterRcnn

主体的网络结构定义在src/FasterRcnn内，生成数据集的相关代码在src/dataset.py中，src/network_define.py封装放了训练相关的类，src/config.py中存放了配置信息。

1. 配置信息配置文件里包含了网络中各种参数配置，包括resnet的层数，fpn的特征层数，学习率，batchsize，momentum等等，下图列举了部分参数，完整参数可以查看src/config.py。
   
   
2. 网络结构
   网络结构的定义是整个代码的核心部分，在FasterRcnn中，这一部分代码在src/FasterRcnn文件夹内，其中总体网络结构入口在src/faster_rcnn.r50.py文件中，其余文件是网络中各个子模块的网络结构，如下图：
   每个模块的定义是：
   ResnetFea：
   resnet的网络结构定义，为FasterRcnn的backbone的网络结构
   · FeatPyramidNeck：
   FPN（特征金字塔网络）的网络结构定义，为FasterRcnn提供不同的高分辨率特征
   · RPN：
   RPN(Region proposal network)的网络结构定义，为FasterRcnn第一阶段计算分类与回归loss的模块
   · BboxAssignSample：
   为RPN模块的子模块，为RPN选择固定比率的正负样本参与loss计算
   · Proposal：
   选取候选框的模块，后续第二阶段，只对这一模块输出的候选框进行计算
   · BboxAssignSampleForRcnn：
   对Proposal模块输出的候选框，再次进行一轮正负样本的筛选，用于第二阶段的计算
   · SingleRoIExtractor：
   该模块主要是用来提取每个候选框的对应特征，并保证特征大小一致
   · RCNN：
   为FasterRcnn第二阶段计算分类与回归loss的模块
   · AnchorGenerator：
   预先生成anchor框 的模块
   通过以上这些模块的组合，结合之前的网络结构介绍，可以获取到一个完整的FasterRcnn网络的模型定义，下图就是部分整网定义的代码，完整的整网定义可以查看src/faster_rcnn.r50.py文件：
   
   接下来，可以在MindSpore中定义网络的执行顺序了，在MindSpore中，执行顺序参考construct函数，整网执行顺序如下：
   
   
   
3. Lr定义

为了得到更好的训练效果，使用动态学习率来进行训练，在本文中，结合了warmup与cosine学习率来进行训练：

4. 数据生成与数据增强

MindSpore中提供了MindRecord的接口来存储数据，方便用户使用，可以先把图片与标签数据生成MindRecord格式的数据，方便后续使用：

在训练与推理的时候，因为采用的数据增强方式不同，所以可以通过is_training标志位来区分数据处理，并且MindData中提供了大量高效的数据增强方式，可以快速调用这些数据增强，来提升我们的网络精度。如下图所示，为训练增加了随机的图片翻转，来提升模型精度：

5. 训练FasterRcnn网络
做完上面一系列准备后，可以着手开始训练我们的网络了：

在训练过程中，可以在loss.log中看到loss打印：

6. 推理FasterRcnn网络

当完成训练后，想查看训练的效果，这时候可以加载训练好的模型，来获取推理的精度：

推理完成后，可以看到如下推理结果：