Pytorch踩坑笔记

前言

本文是对目前在Pytorch的使用过程中踩的一些坑做总结备忘，以便日后翻阅查询。
注：编者水平有限，如有谬误，欢迎指正。若要转载，请注明出处，谢谢。
联系方式：
邮箱：yue_zhan@yahoo.com
QQ：1156356625

---

nn.model

• 在模型最后一层，不要轻易添加Softmax层，因为pytorch自带的大部分分类相关loss，如Crossentropy交叉熵损失函数，会自带softmax的处理。

def cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100,
                  reduce=None, reduction='mean'):
    if size_average is not None or reduce is not None:
        reduction = _Reduction.legacy_get_string(size_average, reduce)
    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)

上图为crossentropy的源码，如果此时在模型末端也加了一层softmax，网络较深情况下梯度会很快消散。而网络较浅情况下，尽管收敛较慢且结果不大好，但模型仍然是可以训练的，这种情况更难察觉(别问我怎么知道的)。

• 当需要复用某个backbone来搭建网络时，如下

self.body &