DeepMitosis: Mitosis detection via deep detection, verification and segmentation networks 论文解读

3. Methods

3.1. Using deep detection network to detect mitosis

1） anchor采用默认

The anchors of RPN have three scales and three aspect ratios.
In this application, the shape of mitosis is irregular, making it necessary to apply multiple aspect ratios. We follow the default three aspect ratios of anchors in RPN, which are 1:1, 1:2 and 2:1.

2）图片裁剪

由于HPF图像的分辨率很大，直接利用全图像训练检测器并不方便。我们从原始图像中提取高度重叠的小块，这可以看作是一种数据增强的方法。

3）对图像的patch进行了2倍的上采样以及改良anchor

在HPF图像中，有丝分裂细胞相对较小，平均边长为30像素。然而，RPN最后一张卷积特征图中的stride等于原始图像中的16个像素。粗特征图不适用于精确的目标定位，特别是对于小核分裂体。为了解决这个问题，我们对图像的patch进行了2倍的上采样。因此，最后一张卷积特征图中的16个像素步长相当于原始图像中的8个像素步长。
faster R-CNN 使用3个anchor scale，面积为128128,256256,512*512来检测不同尺度的对象。关于有丝分裂细胞面积的统计显示，大的有丝分裂细胞很少，所以我们去掉最大的512，增加一个小的64。改良后的锚钉能有效地覆盖大部分有丝分裂细胞。

4）end-to-end train

256 anchors from an image are selected during a training batch.

如果锚与任何地面真实边界框重叠，且相交-过并(IoU)大于0.7，则为正样本。相反，如果锚点的IoU对于所有的ground truth包围盒都小于0.3，则会将锚点赋值为一个假样本。IoU在0.3 - 0.7之间的锚点在训练中被忽略，因为它们不是典型样本，容易引起混淆

RPN预测类别(对象或非对象)并回归每个锚点的边界框。通过回归，将锚点转换为基于下游区域的分类网络方案。为了训练分类网络，如果一个提案的IoU的ground-truth边界框不小于0.5，则将该提案标记为前景。**如果其与任何ground truth的最大IoU在区间[0.1,0.5]内，则将其标记为background。**这样，所选的背景提案都与地面真实重叠，而大部分背景区域对培训没有贡献。考虑到有丝分裂的数量较少，在训练时应考虑许多背景区域的硬阴性。因此，我们将IoU的间隔更改为[0,0.5]。因此，可以从不与有丝分裂重叠的背景区域中选择阴性建议。

4. Experiments and results

4.2. Deep detection model on 2012 MITOSIS dataset

4.2.1. Hyper-parameters

Our DeepDet model is based on VGG_CNN_M_1024 model
We first train the model with the initial learning rate of 0.001 for 50k iterations, then continue training for 50k iterations with the learning rate of 0.0 0 01, and finally train it for 20k iterations with the learning rateof 0.0 0 0 01. We set momentum to 0.9, weight decay to 0.0 0 05, and batch size to 1.

4.2.2. Data augmentation of training data

1. we enlarge the image patches before training
we densely sample patches of 512 ×512 pixels from the original images with a step size of 32 pixels. Then, we re-scale these sampled image patches to 1024 ×1024 pixels
2. 从训练数据中去除包含小的跨界有丝分裂细胞的图像块
We set the area threshold to 800 pixels according to some evaluation experiments.
3. rotate and mirror the original HPF images
我们将原始图像旋转45度。数据扩充可以产生更多的有丝分裂样本

4.2.3. Parameters studies

1. Anchor batch size:
2. Anchor scales
3. Proposal number

Applying RPN to mitosis detection

注意，在这个应用程序中只有one category of foreground，因此我们可以应用RPN来直接检测有丝分裂。

在RPN和分类子网之间共享卷积特征的训练模式实际上比单独训练RPN产生更好的卷积特征。