深度学习41（梯度不平稳性与Glorot条件）

梯度消失与梯度爆炸的成因：网络结构里面的很多参数可能是大于1或者小于1的，当是小于1的时候，层数多了，多乘了几次之后就容易造成梯度消失，梯度爆炸同理

 

返回值为迭代器的，可以用list把他打印出来

 

 这里主要讲了看每一层的参数是什么怎么查看的

如何解决梯度消失梯度爆炸问题？

 对于tanh这个函数，可以把数据都变成均值为0，方差为1的数据，这样数据在反向传播迭代的时候，梯度就会在1附近，就不会出现梯度爆炸或者消失的这种情况

w的初始值不可以都设置为0，所以要借助工具生成均值为0的随机数，那么方差该怎么确定呢？

 神经网络的随机种子设置的不同，会影响模型的好坏，这个随机数怎么设置13.5节会讲