模型过参数化在医学图像中的影响 个人看法

在神经网络训练中，模型参数越多，虽然越容易导致过拟合，但是也可以容易的训练。在进行transfer learning时，可以看出过参数化是网络可以成功的关键。

论文中这一段很有意思，拿出来跟大家分享一下。主要意思是医学图像和自然图像 差别很大。直接用自然图像的权重作为一个预训练作用大不大。其实我个人在做医学图像分割实验 时候，基本都不用resnet 之类作为预训练，除了使用resnet 之类网络会使得整个模型扩大以后，我也一直怀疑这个意思。其实在加入了预训练权重以后，可以发现网络收敛的速度相比于随机初始化的速度要快一点。

The Utility of Feature Reuse和Transfusion这两篇论文讨论了这些问题。

高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱（空间几何特征细节缺乏）；

低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。

高层的语义信息能够帮助我们准确的检测或分割出目标。