《R3Det：Refined Single-Stage Detector with Feature Refinement for Rotating Object》论文笔记

参考代码：

1. TF实现版本：R3Det_Tensorflow
2. Pytorch实现版本：r3det-on-mmdetection
3. 旋转检测算法总结：RotationDetection

1. 概述

导读：这篇文章提出了一种级联优化的旋转目标检测算法。这篇文章的检测算法可以看作是单阶段的（类似RefineDet）检测算法。算法的第一级回归用于生成带旋转角度的roi proposal（也可以称之为带旋转角度的anchor），在之后的优化级中去迭代优化上一级生成的roi proposal。需要注意的是文章的算法在检测目标的优化阶段对特征图进行了优化（也就是文章提到的特征对齐操作，feature alignment operator），从而帮助获取更加精确的目标位置定位。对于损失函数部分，文章引入倾斜矩形的交叠面积作为目标边界框损失的加权项，从而与Smooth L1损失进行互补，兼顾不同IoU情况下的回归损失。注意：需要去读论文源码的同学请阅读TF版本的代码实现，Pytorch版本的代码存在较多遗漏。

需要注意的是，文章中使用的级联优化的方式对旋转目标框进行回归，不过其在anchor机制上做了一些取巧的工作，文章比较了常用的anchor机制：水平anchor和带旋转角度的anchor，它们分别具有如下的特性：

• 1）水平anchor：在anchor数量少的情况下能获取更高的召回；
• 2）带角度的anchor：在密集场景下能获得更加的性能表现；

正是基于上述两种anchor的特性，文章在第一级直接采用水平anchor进行回归（没有针对角度设置anchor，角度直接进行回归），并在后面的优化级中对带旋转角度的roi proposal进行进一步优化，这样就很好兼顾了两种不同类型anchor的性质。

2. 方法设计

2.1 方法pipline

文章的算法pipeline总体上是一阶段的结构，网络在FPN输出结果上进行边界框预测，其结构见下图所示：

注意上图中绘制的网络结构，在第一阶段输出的分类和回归通道都是$5A$的，但是在后面的优化阶段中通道都变成了$5$，也就正如前文提到的一致，第一阶段主要就是用水平的anchor去生成带角度的roi proposal，之后再级联几个优化模块进行精细化回归。

上面的方法预测的是带有旋转角度的目标框，对此会对的目标可以描述为$(x,y,w,h,\theta )$，它们分别代表旋转矩形框的中心点坐标、宽高和角度信息。对于需要回归的变量描述为：
$$t_x=\frac{(x-x_a)}{w_a},t_y=\frac{(y-y_a)}{h_a}$$
t w = l o g ( w w a ) , t h = l o g ( h h a ) , t θ = θ − θ a t_w=log(\frac{w}{w_a}),t_h=log(\frac{h}{h_a}),t_{\theta}=\theta-\theta_a tw​=log(w