NN模型设置--设计新的layer或op

  关键是反向传播的实现!
  如果你手动实现了反向传播算法但是它不起作用,那么有99%的可能是梯度计算中存在Bug。那么就用梯度检测来定位问题。
  主要思想是运用梯度的定义:如果我们稍微增加某个权重值,模型的误差将会改变多少。

  参考资料:
  http://ufldl.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_optimization

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页