UNet-FusionNet笔记

UNet

UNet第一个创新点在于作者根据边缘像素一直以来都是模糊预测这一现象，猜测可能的原因是边缘像素的上下文信息比较少，周围没有像素，提出了对原图像进行镜像翻转，即在边缘像素周边取一定范围（目标图像的尺寸-原图尺寸的1/2）的像素进行向外翻转，以获取更多的上下文信息，提高边缘像素的预测精度。

第二个创新点是根据细胞边缘重合导致分割困难（卷积会考虑该像素点周围的特征，若两个细胞贴在一起容易将两个细胞分割成一个细胞）的情况提出加权损失函数，即给两个同一类贴在一起的细胞边界的背景像素点赋予较大的权重，让网络着重学习分割权重较大的像素点。

第三个创新点在于设计了类似于encoding-decoding的U型结构，先通过下采样提取图像的特征，再通过上采样（反卷积）将特征图恢复成原图尺寸，在上采样的过程中使用了通道拼接融合特征提取过程中得到的特征，将深层的语义信息和浅层的表征信息结合到一起，而且在上采样过程中依然使用大量的通道，使得网络可以将上下文信息向更高分辨率层传播。

UNet网络结构

 关于加权损失函数

首先对每一个像素值进行激活，ak(x)为第k个feature channel（最后一层有几个类别就有几个feature channel，一共K个）激活函数（文中是relu）作用后的值，然后对激活后的值进行softmax激活

 然后将得到的预测值与真实值做交叉熵计算并与权重相乘

 

 其中权重的计算如下

 

 w0在论文中设置为10， sigma设置为5，wc是用于平衡类的频率的权重，后面的一项指数运算的含义是：任取一个背景像素，d1表示离该像素点最近的细胞边界的距离，d2表示离该像素点第二近的细胞边界的距离，则两距离越小指数运算的值越大，赋予的权重越大，表示该像素点附近的细胞离得越近。

FusionNet

FusionNet相较于UNet唯一的创新点在于在网络中引入了残差块，同时使用基于求和的跳跃连接，嵌套了短连接和长连接，帮助信息在网络的各个层次之间流动。

FusionNet网络结构

 其中在原论文中给出的各层的网络参数如下

 损失函数是使用均方误差mse。