rotated rpn（RRPN）解决旋转不变性特征

成就

第一个基于RPN架构引入旋转候选框实现任意方向的场景文本检测。基于旋转的anchor得到旋转ROI，然后提取相应特征

为什么提出旋转的提议框呢？

因为水平提议框在检测倾斜文本的时候会带有一些冗余（非文本部分）。对比图如下，左：原图；中：水平提议框；右：旋转提议框

模型结构

整体框架是和faster rcnn一样的，只是我们的RRPN产生带角度的候选区域； 然后我们RRPN得到的候选区域是旋转矩形，而传统的RoI池化只能处理与坐标轴平行的候选区域，因此作者提出了RRoI Pooling用于RRPN中的旋转矩形的池化。

具体操作

RRPN ( Arbitrary-Oriented Scene Text Detection via Rotation Proposals ) 的基本思想是，在FasterRCNN 的基础上，对每个按照原先方法生成的框，都“原地”旋转6个角度（图c），即对每个位置每个尺度(Scale),每个长宽比(Ratio) 的框，都衍生成6个不同角度的框

为了实现这种策略，RRPN 当中创新的提出了两个关键的组件:

1、RROIPooling/RROIAlign , 在RPN完成之后，通过输入一个任意角度的旋转Proposal，能够返回一个标准的Pooling/Align 的结果，从而可以接入到一个类似于ROIHeads 的结构当中，进一步对目标旋转框的（x，y，w，h，θ） 五个信息进行预测


将RRPN得到的候选区域等分成 个小区域，每个子区域的大小这时每个区域仍然是带角度的，所以我们需要对有角度的roi区域仿射变换转换成平行于坐标轴的矩形，最后通过Max Pooling得到长度固定的特征向量。.

2、 pairwise_iou_rotated（倾斜iou）：用于计算任意一个旋转矩形和另一个旋转矩形之间的IoU 的函数（计算各种旋转矩形交叠情况下的IOU）

将两个矩形的交点进行顺时针排序并连成多边形，然后分割成一个个小三角形计算总面积。以下图（b）举例子，多边形顺序AIJCKL，分割成三角形AIJ,AJC,ACK,AKL,计算这四个三角形的和。

知乎讲解