使用pytorch进行神经网络实验。写好代码,想做一下测试,于是使用数据量较少(5条),且全为[0,1] 1) 5折交叉验证时,训练时不会有出现 nan的情况 2) 训练集 测试时也不会出现, 3) 但是当测试集进行测试的时候,就会出现 nan。 4) 查阅其原始变量,皆非nan 5)将测试集与训练集合并测试时,也会出现 nan 的情况 当将数据提升到10,20时仍会出现。但提升到100后,情况正常。学习率:10^-4,L2: 10^-4.
这是为啥啊?
使用pytorch进行神经网络实验。写好代码,想做一下测试,于是使用数据量较少(5条),且全为[0,1] 1) 5折交叉验证时,训练时不会有出现 nan的情况 2) 训练集 测试时也不会出现, 3) 但是当测试集进行测试的时候,就会出现 nan。 4) 查阅其原始变量,皆非nan 5)将测试集与训练集合并测试时,也会出现 nan 的情况 当将数据提升到10,20时仍会出现。但提升到100后,情况正常。学习率:10^-4,L2: 10^-4.
这是为啥啊?