论文笔记：图像分割——U-Net & FusionNet

① U-Net: Convolutional Networks for Biomedical Image Segmentation

② FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics

U-Net的论文结构

摘要： 介绍论文的背景、核心观点、方法途径、最终成果
1. Introduction： 相关背景概述，本文内容简述
2. Network Architecture： 简述算法结构
3. Training： 训练细节、数据增强
4. Experiments： 实验结果分析
5. Conclusion： 实验结论
6. References： 参考文献

一、摘要核心

U-Net 摘要

1. 概述，简单描述了人们对于深度神经网络的认知，需要很多数据去训练
2. 本文贡献：提出了一个网络和训练策略，使用数据增强，以便更有效的使用可用的带标签样本
3. 网络构成：定义了两条路径，收缩路径和扩展路径。收缩路径来获取全局信息，对称的扩张路径用来精准定位
4. 作用：完成端到端的训练，现在ISBI中由于其他的先前的方法，在医学中发挥作用大
5. 成果：以很大的优势赢了2015ISBI细胞跟踪挑战赛

FusionNet 摘要

1. 本文贡献：本文提出了一种新的深度神经网络FusionNet，用于自动分割连接组学数据中的神经元结构
2. 主要方法：引入了基于求和的跳跃连接，允许更深入的网络结构以实现更精确的分割
3. 实验结果：通过与ISBI-EM分割挑战中的最新方法比较，展示了方法的新性能。还展示了两个其他任务的分割结果。

二、引言和相关工作

① U-Net

第一段： CNN的发展历程，以AlexNet为深度学习的开端，在具有100w张训练图像上的imageNet数据集，对具有八层和数百万的参数的大型网络进行监督式的训练。由此证明大型网络可以被运行的。

第二段： 根据大背景提出前人方法。以某一像素的邻域作为输入，用于预测每个像素的类别标签。优点有：
（1）网络具有局部感知能力
（2）用于训练的样本数量远大于训练图像的数量
（3）获得EM分割挑战赛ISBI 2012的冠军

第三段： 前人方法存在的缺点
（1）这个网络运行效率很慢，对每个邻域都要运算一次，有很多冗余重复的patch，网络会进行重复运算
（2）局部准确度和很多全局信息的利用是不可能兼顾的。因为大的patch需要更多的maxpooling，会导致局部准确度降低，小的patch只能获得较少的上下文信息。最近的方法提出来一个考虑到多层特征的分类器，使兼顾变成可能。

第四段： 从FCN入手，引出思想来源

FCN取代了全连接，加入了上采样。这些层提高了输出的分辨率。
为了局部的精确度，把从收缩路径提取的高分辨率的特征与上采样的输出进行结合。
通过特征融合达到精确度提高的效果。

第五段： 提出本文算法架构
创新点：在上采样部分进行了修改，也保留了大量的特征通道，能使网络将全局信息传播到更高的分辨率的层。

目的是使网络可以将全局信息带到更高分辨率的层上，做特征融合。取得的效果和FCN差不多。使用特征融合来优化结果。

扩张路径基本对称收缩路径，形成U型网络，不包含全连接层，只用每个卷积的有效部分
。
图像边界的四个像素点在分割的时候没有上下文信息参考，导致边界像素一直被模糊分割。作者采用镜像输入图片的方式进行补全。有利于将网络应用于大型图像上。

四个边的像素 向外进行镜像翻转，通过padding参数去裁剪，保证卷积前和卷积后的参数一样大

第六段： 数据增强的必要性
不会破坏原图，先把图片从数据集中拿出来，然后做一系列转换，变化完的图像不会再加入数据集了。可以给模型鲁棒性一定的帮助。

第七段： 另外一种优化方式
挑战：分割连在一起的细胞，使长得很像距离很近的细胞也得到边界划分

方法：引入一个新的损失函数，加权损失，连接细胞之间的背景获得比较大的权重，集中更多的注意力在连接很紧密的细胞上，比较分散的细胞附近的权重比较小一点。

第八段： 文章成果

② FusionNet

第一段： 对连接组学的概述
通过一个问题抛出大背景“人类大脑如何工作”
从EM中得出数据量过大还是最大的挑战，计算机计算的能力和模型的能力有限

第二段： 早期的连接组学的问题：能处理的只是神经元中的一小部分，而不是全部。这种方法需要太多的人与人的互动，无法在大量的电子设备上进行扩展。而这些数据可以通过ATUM技术进行收集。说明机器不能自动的处理数据，还得依靠人与人之间的交流和辅助。

此外 多尺度的重建成为了近期研究者关注的主要问题，
因此，开发可扩展的自动图像分析算法是连接组学中一个重要以及活跃的方向。引出自动图像分析算法的重要性

第三段： 介绍深度学习和CNN、FCN

第四段： 介绍U-Net
虽然比传统的CNN更好，但是网络不够深。
提出了U-Net扩展方法，在网络的每一层使用残差，引入了基于求和的跳跃连接做特征融合，使整个网络比U-Net更深。

第五段： 总结创新点

相关工作： 介绍深度学习和经典分类算法

③ 改进思想

设计了一个完全对称的U型结构，可以更好的融合图片特征；
在上采样部分也包含大量特征通道，使网络能够将全局信息传播到更高的分辨率层；
采用镜像的方式，把图像边界的缺失内容补全；
设计了加权损失函数

三、先验知识：Padding

padding的三种方式

same是比较常见的一种模式

四、算法模型和细节

① U-Net

医学分割：一个通道、2分类问题

U型网络

经过一次下采样，尺寸减少2倍，通道数增大2倍，
上采样尺寸扩大2倍，通道数减少2倍

（1）模型细节

输入图像是388，通过镜像的方式对输入的图片进行扩张成572×572，通过padding一步步减小，只有扩张成这个尺寸，完成整个流程下来之后仍然得到一个388×388。

那么中间每一个小尺寸的裁剪就依靠我们的padding一点一点把边裁掉。

在这个特征融合的时候，要回到收缩路径去找对应特征通道的这样的一个比较大的特征图。然后裁剪成跟自身尺寸相同的这样一个效果，先裁剪再进行拼接，拼接的方式是通过 concat只在通道处进行拼接。不是sum求和逐像素点加的这样一个方式。

然后最后经过一步一步的上采样还原，有多少个最大池化，就有多少个反卷积还原。

这样整个U-Net网络就结束了，是完全对称的这么一个网络结构

（2）输入输出

（3）加权损失
（4）数据增强
训练样本采用了随机弹性变形，使用3×3网格随机进行位移矢量，生成一个平滑的变形，这个位移从具有十个像素的标准偏差的高斯分布中采样的。 使用双三次插值计算每个像素的位移，在收缩路径用dropout

② FusionNet

还加了一个特征融合，同阶段的特征图进行跳跃连接，复制过来用sum的方式逐像素求和。

③ 相同点与区别

（1）相同点：
下采样与上采样的方式一样，都是max pooling + 反卷积
数量都一样，都是4次。（一般是5次，提取信息全一点）

（2）区别：

1. FusionNet 没有尺寸上的变化，严格按照2倍缩小2倍扩大。
2. 中间的内部块不一样。U-Net用的卷积，FusionNet用的“汉堡”，两个卷积中间夹一个残差块。
3. 特征融合方式不一样。U-Net用的concat拼接，通道数翻倍，FusionNet用的sum，逐像素求和点加

五、U-Net实验结果及分析

（1）为了最大限度的使用GPU显存，比起输入一个大的batch size，我们更倾向于输入大的patch（≈1）

（2）医学分割指标介绍


（3）实验分析

六、U-Net结论

U-Net架构啊在不同的生物医学分割应用当中实现了非常好的性能。
由于它的一个弹性变形，来做数据增强，它只需要非常少的数据就可以进行一个比较不错的分割。

那么在NVIDIA Titan GPU上啊有10个小时的训练时间，这个时间还是比较长的。提供完整的基于Caffe的啊这样一个实现的训练代码，我们确信U-Net架构可以轻松的用于更多的任务。

七、总结两篇论文的关键点&创新点

短跳：三个卷积+跳跃连接。残差块用的
长跳：对应的编码器和解码器的位置 or 对应的下采样和上采样的位置 进行一个sum的连接