【阅读总结】Image Magnification Network for Vessel Segmentation in OCTA Images

这是一篇arXiv上2021年的文章。主要内容是提出了一个新的血管分割网络。

以往基于深度学习的方法以U-Net作为基础结构来分割视网膜血管。作者认为U-Net容易遗漏弱信号血管和细毛细管，于是提出了一个图像放大网络(IMN)，采用了上采样编码和降采样解码的设计，可以捕捉更多的图像细节，并减少对薄结构和小结构的遗漏。

OCTA的图片长这样：

肉眼可见的是里面有许多非常细的血管，作者认为这些毛细血管（以及弱信号血管）就是以往的方法所不擅长处理的。

U-Net的网络结构是中间分辨率相对低，两头分辨率相对高，而作者提出的IMN则是U-Net反过来：两头分辨率相对低，中间分辨率相对高。我觉得可以叫n-Net（U倒过来）。具体看图，左边是U-Net，右边是作者提出的网络：

假设输出输出图像的长宽为W,H。U-Net中间层的长宽是小于W,H的，而作者提出的n-Net中间层的长宽大于W,H，因此n-net消耗的显存和计算资源显著大于U-Net。

关于n-Net为什么比U-Net有效，作者这样解释：U-Net中的降采样编码器提取出的是高级特征。然而，OCTA图像中的内容相对简单，只包括血流信号和噪声信号，说白了就不需要高级特征，更需要低级特征。U-Net中降采样编码器丢失了低级特征（如毛细血管），而n-Net采用上采样编码，不会丢失低级特征，所以在OCTA图像分割任务中，n-Net比U-Net有效。
这里我有个想法：上采样同样是会有失真的，细节保留最好的其实是原图，那么如果每一层都使用原图，也就是在整个U-Net框架内不进行下采样，保持每层长宽都是W,H（Decoder每层仍然跳跃连接到Encoder对应层），这样效果是不是会更好呢？显存消耗也比作者提出的n-Net更低。不过这样idea听起来就不太awesome了，画出来的神经网络图也平平无奇（每层长宽都相等），或许不太适合拿来写论文吧。

数据集方面，采用三个公开的数据集：OCTA-SS，OCTA-500和ROSE1。结果是作者提出的模型打败了CNN，U-Net，CS-Net等，做到了SOTA（废话）。

总结一下这篇文章的阅读收获。首先作者把U-Net倒过来设计的思路非常有意思，也是这篇文章最大的亮点。不知道这篇文章为啥没被会议或期刊收录，也许还有一些缺陷吧。实验方面，文章用到OCTA血管分割方面3个公开数据集：OCTA-SS，OCTA-500和ROSE1，如果近期做相关研究，应该考虑使用。