梯度消失和梯度爆炸 梯度消失:梯度太小,无法进行参数更新,梯度小到数据类型无法表示,出现Nan 梯度爆炸:梯度太大,大到数据类型无法表示,出现Nan 解决办法: 使用更加容易计算梯度的激活函数,eg:Leaky ReLU、ReLU改进梯度优化算法:使用Adam等算法使用batch Normalization i.加速模型的训练,把参数进行规范化的处理,让参数计算的梯度不会太小