saikidee的博客

踩坑实录： 在做迁移学习的时候经常会碰到 增加了新的层却需要调取已有模型的部分参数的情况 可以通过get_collection/看看该层的所有variables var = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES,scope=‘新加入层的scope’) 或者 var=slim.get_variables('新加入层的scope') 在rest...

梯度爆炸由于初始化权值过大，前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。 模型无法从训练数据中获得更新（如低损失）。 模型不稳定，导致更新过程中的损失出现显著变化。 训练过程中，loss变成 NaN or 大于了设定的阈值 1.如果是同一步出现了爆炸或者loss突然增大，很有可能是training data中的某条数据有问题(建议有一个监测网络每次过滤掉问题值) 2....