Feature Enhancement Network: A Refined Scene Text Detector

问题1、怎么进行特征增强？。。。。

高维度的语义信息利于目标分类，而低维度的语义信息利于对目标进行精确定位？

用3x3的滑窗做region proposal以及在高维度用单一尺度做检测微调是不够的。

FEN：任务特定，低维和高维语义特征融合，从而提高文本检测性能。

adaptively weighted position-sensitive RoI pooling layer：进一步提高检测精度。

positives mining strategy：处理细化阶段的样本不平衡的问题。

效果：在ICDAR 2011 and 2013的检测中，F-measure最高。

文本检测方法粗略分为三种：1、Character-based；2、Word-based本文的方法；3、Text-line-based。

一般的目标检测是2阶段two stages方法：proposals generation and detection refinement
使用ResNet-101 network as backbone network，并且把1、Feature Enhancement RPN (FE-RPN)和2、Hyper Feature Generation 集成到resnet101中。

本文主要是提出了一个特征增强网络来增强文本特征，从而更好的生成proposal和文本refinement。

1、传统只使用3×3滑窗进行区域建议，这里增加了两个卷积方式，加大了网络宽度，并且能增强特征；

2、之前只在高维特征使用单尺度进行文本检测框的精细化，这里使用了特征融合，更精确；

3、由于在一般的目标检测中的单一的position-sensitive RoI pooling在文本区域是不合理的，所以设计了adaptively weighted position-sensitive RoI pooling layer进一步提高检测精度；

4、为了处理在细化阶段的样本不平衡问题，提出了有效的positives mining strategy。
 

网络组成

1、Feature Enhancement network stem：主要是由Feature Enhancement RPN (FE-RPN) 和 Hyper Feature Generation组成。

2、正例挖掘Positives mining
3、Adaptively weighted position-sensitive RoI pooling
 

本文的方法是手R-FCN的启发并且是字级的检测。R-FCN是二阶段的方法，

Feature Enhancement Network Stem的组成

1、Feature Enhancement RPN (FE-RPN)：一般的目标检测使用3×3卷积来生成region proposal，但是在文本中宽高比一般大于1；同时高级的语义特征由更大的感受野并且包含更多的上下文信息，更利于分类。本文选择ResNet101中的第30层Res30作为FE-RPN的输入，并添加两个卷积分支，其中一个是1×3卷积，另一个是max pooling+1×1卷积+反卷积层，然后将这三个分支生成的特征图进行concat。更多的卷积能提取更多的上下文信息？

最后，利用新的卷积层和ResNet块来实现区域提议的特征增强目标。

为简单起见，在通道上使用bottleneck来压缩中间特征图，

并行残差学习比序列残差学习更好。

本文针对文本设计了尺寸为 32, 64, 112, 192, 304 and 416，宽高比为1, 2, 3, 4 and 6的anchors，但是有一些是不合理的，例如416大小且宽高比为6的时候。所以在FE-RPN的特征图的每个特征点保留24个anchors。

Adaptively Weighted Position-Sensitive RoI Pooling layer:  首先划分每个ROI为 wl × hl bins，w × hl) 2 f3 × 3; 7 × 7; 3 × 8; 3 × 11，l = 0; 1; 2; 3}