在训练神经网络的过程中,经常会遇到当训练进行到一定次数后,cost会变成NaN的问题。在网上搜索相关问题时,发现大多人的观点是认为learningRate过大导致NaN,但是经过我自己摸索,我发现绝大多数情况下NaN是由以下几种情况导致的。learningRate过大只是会造成cost不收敛,在最优点附近震荡。
第一种情况:
cost的计算公式为:cost = -(y.t * log(yHat) + (1.0 - y).t * log(1.0 - yHat))。这里当yHat=0时,log(yHat)可能为NaN,当yHat=1时,log(1.0 - yHat)可能为NaN,所以为了保险起见,在log的参数中加上一个极小值,即:cost=-(y.t * log(yHat + pow(10.0, -9)) + (1.0 - y).t * log(1.0 - yHat + pow(10.0, -9)));。Scala中计算cost的代码如下:
private def
calCost
(res: ResultUtils.ForwardRes
,
label: DenseVector[