出现场景
网络设计为4层LSTM组成的一个RNN,学习率设为0.1,num_units个数为256,出现NAN。当把层数调成2层的时候,没有出现。
原因分析:
网络层数太深,加上RNN内部计算是循环嵌套,从前往后计算,每层的输入逐渐累积;学习率过大;某些batch产生较大的梯度。
经过大梯度、大学习率、深层网络累积的输入,使得网络参数变得异常。
【注】:反向传播的时候,求的是loss function与当前层参数的梯度,此时计算梯度,输入x作为常量,参与到参数的更新。
出现原因
- 学习率较大,若此时反向传回来的梯度也很大的时候,参数可能会更新的非常大,倘若不幸,飞成Inf,前向传播求loss的时候,会报NAN。解决方法调小学习率。
- 某些batch的数据产生过大的梯度,解决方法采用梯度裁剪、数据归一化。
- 数据出错,网络中出现log0、除以0等不正常的操作。
【个人认为1、2是互相依赖的,若梯度很大但学习率比较小的话,参数更新值会因为学习率较小而变小,减少NAN出现的概率;若学习率很大但梯度很小的话,参数更新值应该也不会很大,毕竟学习率一般取值不超过1。3是最常出现的错误,也是最容易理解的原因。】
举例分析
给定输入数据x为(1,1)(2,1),…(1,10),输出数据/标签y为(3,4,…,12)。通过训练网络求y= w