问题描述:
同样的prototxt文件,同样的数据,在不同的显卡上,一个训练正常,一个出现 loss = 1.#QNAN。
解决方法:
编译 caffe 程序的时候在 CommonSettings.props 的 CudaArchitecture 中加入 compute_61, sm_61。
由于能正常训练的显卡是 GTX TITAN X,出现 1.#QNAN 的是 GTX 1080,compute capability不同。
参考 https://developer.nvidia.com/cuda-gpus。