FPN与U-Net

通常的CNN网络结构如下图所示

自底向上卷积，然后使用最后一层特征图进行预测，像SPP-Net，Fast R-CNN，Faster R-CNN就是采用这种方式，即仅采用网络最后一层的特征。那么就会出现一个问题，如果我们的那个feat_stride=16（图片转化成特征图谱后缩小的尺寸倍数），表示若原图大小是1000600，经过网络后最深一层的特征图大小是6040，可理解为特征图上一像素点映射原图中一个1616的区域**；那原图中有一个小于1616大小的小物体，可能就会被忽略掉，检测不到**

FPN（Feature Pyramid Networks）

这个博主讲的很好，可以看看

一个自底向上的线路，一个自顶向下的线路，横向连接（lateral connection）。图中放大的区域就是横向连接，这里1*1的卷积核的主要作用是减少卷积核的个数，也就是减少了feature map的个数，并不改变feature map的尺寸大小。【横向连接的两层特征在空间尺寸相同，这样做可以利用底层定位细节信息。】

总结

作者提出的FPN（Feature Pyramid Network）算法同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果。并且预测是在每个融合后的特征层上单独进行的，效果甚佳。

U-Net

Unet网络非常的简单，前半部分就是特征提取，后半部分是上采样。

Unet的好处：网络层越深得到的特征图，有着更大的视野域，浅层卷积关注纹理特征，深层网络关注本质的那种特征，所以深层浅层特征都是有格子的意义的；另外一点是通过反卷积得到的更大的尺寸的特征图的边缘，是缺少信息的，毕竟每一次下采样提炼特征的同时，也必然会损失一些边缘特征，而失去的特征并不能从上采样中找回，因此通过特征的拼接，来实现边缘特征的一个找回
拼接concate和add区别

两者区别

**同：**都使用了“由上至下”、“横向连接”及“由下至上”的结构，从而对多尺度特征图进行融合，即将高层的语义信息与低层的几何细节结合。另外，融合后都会再经过一层卷积。

异： FCN是通过特征图对应像素值的相加来融合特征的；
U-net通过通道数的拼接，这样可以形成更厚的特征，当然这样会更佳消耗显存；
FPN对多尺度特征图都进行了预测；
而UNet仅在（由上至下）最后一层进行预测，而且这一层通常还需要进行一次resize才能恢复到原图尺寸；
FPN的高层特征放大2倍后与低层的尺寸恰好一致，
UNet中通常不一致，还需要对低层特征做crop使得与放大后的高层特征尺寸一致；
FPN在特征层融合后经过一层卷积是为了消除上采样过程中产生的混叠效应带来的影响，
UNet中还起到了压缩通道的作用（也是由于UNet融合特征层时采用的是concate，因此需要压缩通道减少计算量）；

1，fpn主要是针对目标检测任务而言，当时的其他网络都只有一个尺度，对小目标的检测率不高，容易漏检，而fpn从三个大中小三个尺度检测目标，使查全率大大提高，重点在于，该网络的输出是三个尺度的特征层。

2，unet主要是针对语义分割任务而言，该任务是对每个像素进行识别，判断其类别，因此，需要进行多次的特征融合，使得特征更加丰富，语义分割更加精准，但最终，只有一个输出，而且，其输出和输入的尺寸相同，而fpn并不要求如此。