学习笔记4--U-net，U-net++，U-net+++网络

U-net网络结构简单，主要用于解决小目标的问题，用于图像分割领域。先编码把输入图像转化成特征，之后解码由特征得到输出结果。

1.U-net

主要作用：输入一幅图，输出的是目标的分割结果。根据结果和真实分割的差异，反向传播来训练这个分割网络。

整体结构：

拓扑结构如下：

下采样是必要的，因为它的主要作用是增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小。上采样的最大作用是把抽象的特征再还原到原图的尺寸，最终得到分割结果。

2.U-net++

由于U-net中Encoder和Decoder网络的特征层是通过长连接直接相连的，会产生语义鸿沟（Encoder网络的特征层是通过下采样提取出的低级特征，而Decoder网络的特征层是高级特征经过上采样所得，当它们进行特征图像叠加的时候，由于不是一个尺度的特征，会造成图像的细节丢失）

因此，设计了一系列nested (嵌套的)，dense (密集的) skip pathways (跳跃路径)，将高分辨率特征图从 Encoder 网络逐渐地和 Decoder 网络中相应语义的特征图优先进行融合，通过叠加的方式整合，以此来获取不同层次的特征。相比于U-net更容易剪枝是因为前面每一层都有单独的监督训练，因此可以根据速度要求来快递完成剪枝。

（每层的特征图是一个拼接的操作，那么96*96的两个特征图，拼接起来还是96*96吗？，是的，先拼接，再卷积）

X^0.0与X^1.0怎么拼接？对X^1.0进行上采样

剪枝：在测试阶段，由于输入的图像只会前向传播，扔掉这部分对前面的输出完全没有影响；而在训练阶段，因为既有前向，又有反向传播，被剪掉的部分 (下图绿色方框为剪掉部分) 会帮助其他部分做权重更新。因此，在测试时，剪掉部分对剩余结构不做影响，训练时，剪掉部分对剩余部分有影响

 3.U-net+++

为使大小不同的特征图能够进行融合，需要对特征图进行卷积，采用不同的maxpool整合低阶特征，采用上采样整合高阶特征，各层统一用卷积得到64个特征图，5*64，最终组合得到全部特征