在设计网络时会遇到,计算梯度时某些variable的gradient是None的情况,这种bug第一次遇到会比较头疼,如果没有踩过这其中的坑还真不知道如何解决,下面总结一下解决办法:
1. model存在多余的op,也就是没有被使用的op
这种情况下,调用optimizer.compute_gradients()会报错,需要去除这些没有使用的op
这里也有提到:https://github.com/tensorflow/tensorflow/issues/5861
2. 使用了normilizition,使用不正确也容易导致梯度为0的情况
这种时需要检查is_training这个参数是否设置正确,如果是训练则设置为True,如果是inference,则设置为False
在训练的过程中,如果设置为False则会遇到计算梯度这一步就出错了,我的代码就在optimizer.compute_gradients这一步过不去,后面才发现是batch_norm出的问题
with slim.arg_scope([slim.batch_norm], is_training=True): 这里为layer函数提供了许多默认值, 具体来说是给slim.batch_norm设 置了默认值 is_training=True
参考:https://blog.csdn.net/u013735511/article/details/79216024
另外,在转pb的过程中,也需要注意batch_norm的is_training参数设置为False,否则会影响推理的结果