optimizer.compute_gradients计算时梯度是none

在设计网络时会遇到，计算梯度时某些variable的gradient是None的情况，这种bug第一次遇到会比较头疼，如果没有踩过这其中的坑还真不知道如何解决，下面总结一下解决办法：

1. model存在多余的op，也就是没有被使用的op

       这种情况下，调用optimizer.compute_gradients（）会报错，需要去除这些没有使用的op

      这里也有提到：https://github.com/tensorflow/tensorflow/issues/5861

2. 使用了normilizition，使用不正确也容易导致梯度为0的情况

    这种时需要检查is_training这个参数是否设置正确，如果是训练则设置为True，如果是inference，则设置为False

   在训练的过程中，如果设置为False则会遇到计算梯度这一步就出错了，我的代码就在optimizer.compute_gradients这一步过不去，后面才发现是batch_norm出的问题

 with slim.arg_scope([slim.batch_norm], is_training=True): 这里为layer函数提供了许多默认值， 具体来说是给slim.batch_norm设  置了默认值 is_training=True

参考：https://blog.csdn.net/u013735511/article/details/79216024

另外，在转pb的过程中，也需要注意batch_norm的is_training参数设置为False，否则会影响推理的结果