U-Net网络理解（医学图像处理利器）

（题外：[U-Net实际属于Encoder-Decoder类型]，有加入注意力机制的例子。）

 

   最初的U-net网络结构如上图所示，主要由卷积层、最大池化层（下采样）、反卷积层（上采样）以及ReLU非线性激活函数组成。

   整个网络的过程具体如下：

（一）最大池化层（下采样）过程：

   假设最初输入的图像大小为572*572的灰度图。首先经过2次(注：每次维度减少2)3*3*64(64个卷积核，得到64个特征图)的卷积核进行卷积操作变为568*568*64大小；然后进行2*2的最大池化操作变为248*248*64。（注：每一个3*3卷积之后跟随有ReLU非线性变换，为了描述方便所以没写出来）

   按照上述过程重复进行4次，即进行 (3*3卷积+2*2池化) 4次，在每进行一次池化之后的第一个3*3卷积操作，3*3卷积核数量成倍增加。

   达到最底层时即第4次最大池化之后，图像变为32*32*512大小，然后再进行2次的3*3*1024的卷积操作，最后变化为28*28*1024的大小。

（二）反卷积层（上采样）过程：

   此时图像的大小为28*28*1024，首先进行2*2的反卷积操作使得图像变化为56*56*512大小，然后对对应的最大池化层之前的图像的复制和剪裁（copy and crop），与反卷积得到的图像拼接起来得到56*56*1024大小的图像，然后再进行3*3*512的卷积操作。

   按照上述过程重复进行4次，即进行（2*2反卷积+3*3卷积）*4次，在每进行一次拼接之后的第一个3*3卷积操作，3*3卷积核数量成倍减少。

   达到最上层时即第4次反卷积之后，图像变为392*392*64的大小，进行复制和剪裁然后拼接得到392*392*128的大小，然后再进行两次3*3*64的卷积操作。

   最终得到388*388*64大小的图像，最后再进行一次1*1*2的卷积操作。