分割论文——2018——Autofocus Layer for Semantic Segmentation

摘要：

这篇文章提出Autofocus Layer 的操作，这个层的创新点是可以通过 上下文信息提取不同感受野信息。 这里扩大感受野不是通过 扩到卷积核地形式实现地，而是通过dilation的方式实现。 很自然，当并行有多个卷积层时，参数一定会非常的多，因此作者采取 参数共享的方式。

介绍

介绍里面讲到，有很多文章关多尺度处理文章，当时卷积神经网络，作者将其分为三类，1. 金字塔多尺度处理操作，2. encoder——decoder的操作，最常见的时U-net，最后一类就是作者提到通过扩大dilation的方式，这种方式没有downsample。

方法

作者这里的方法理解起来不难，对输入，通过不同dilation的卷积核处理，在通过与attention操作产生的因子相乘，最后相加。由于参数是共享的，所以并没有增加多少参数，因此，这个模块，可以类似于普通卷积层的操作。作用于网络。作者，作了ablation实验，具体就是，autofocus 的层数不同，最终结果的对比。 我觉得网络不难，但是实现起来，还是挺不好处理得。

实验

作者，在BRATS 2015 和 ADD and UW datasets of pelvic CT scans 两个数据集上进行了实验，结果显示，这方法于其他方法相比，效果增加不少。由于作者代码是公开的，因此，我也在复现这篇文章，并做出了修改，在处理数据方面，真是让人印象深刻。

数据处理

训练

作者利用segment进行训练，

1. 通过4个模态的图产生mask，这个mask排除了非组织部分。
2. 通过mask，和label的数据，在原图上随机产生一个segment，具体操作是，通过mask+label，返回每个像素的下标，在从下标中，随机产生一个crop_center，接下来，判断这个crop_center 是否越界。
3. 产生segment后，通过flip对图像进行数据增强操作/

注意
源代码种的crop_size = 75，代表的输入segment的H，W，D = 75， 75，75，center_size 的H，W，D位45，45，45，也就是说，输入图像经过卷积层（前几层卷积，每层HWD较少4）pred大小为45，45，45，因此最终计算损失函数的label也需要裁剪到相应大小。

测试

测试作者分为两类，一类是 ： 全图test、一种是 segment测试

1. 全图test，全图测试，输入图像大小就是原图的224x224x155，但是输出大小变为（224-28），所以最后计算损失函数的大小也是需要这个大小，为什么label，不需要全图呢，因为数据集，边缘只可能是背景，不可能有预测的水肿部分。
2. segment测试
   这个测试分为这几部：
   a. 将valization数据中的image，丢入segment函数中，这个函数的作用是返回一个seg_pad图片，这个图片能 刚好够分为 多个 center_size 的segment。
   b. 从z轴进行遍历，也就是输入xy平面的一张图，由这张图制作一个Dataloader，每次返回的是y轴的那一列segments。
   c. 最后将输入结构进行合并。

评价

作者首先，构建一个3x3的矩阵，记录每个图像中，pred对应预测类的个数，label对应预测类的个数，pred和label相等的个数，通过这个3x3的矩阵计算dice。根据这个计算平均dice。