记我的第一个网络及debug历程

毕业设计第一次真正接触到了神经网络，看完3D U-Net等一系列论文以后没有利用github高星复现代码，而是选择自己写一个3D U-Net来训练，没想到遇到了许多困难...

V1.0 显存爆炸

自己看着3D U-Net论文一比一复现出来，数据集用的BraTS2019。上来就遇到了第一个问题：显存爆炸。

BraTS每个数据都有240×240×155，训练时候要四个模态一起输入，大小就是4×240×240×155。这还没有加上batchsize，反正用实验室24G显存的RTX3090会Out of Memory。遂参考了许多论文，将数据裁剪掉标签为0的背景区域以后随机裁剪到128×128×128。这个时候取batchsize=1，显存占用在10G左右。RTX3090最多能跑batchsize=2。

V1.1 不收敛

显存问题解决了，开始训练，batchsize=1，一直不收敛。因为第一次跑模型，不知道啥时候收敛正常，大概每次跑个四五十轮我就去看效果，结果验证集loss既不下降也不收敛，于是重新训练了好几次一直这样。最后不得已求助实验室的师兄，师兄让我一直跑，跑个几百轮再看效果。于是我跑了两百轮再去看，确实收敛了。后面我试着让batchsize=2，验证集上loss震荡幅度小了很多，能看出是在慢慢下降了。

V1.2 损失函数之争

v1.1解决了不收敛问题，但是测试的dice一直在0.4。要知道官方代码可是在0.8左右，差的太多了。我起初以为是损失函数的关系。

损失函数有很多，适合BarTS的就有Dice，交叉熵，还有dice+交叉熵，还有基于dice改进的GDL，还有带权重的交叉熵。最开始