pytorch中出现nan的现象的一个奇怪的原因

引言

写代码过程中遇到的一个小坑，陆陆续续的调了好久，今天解决了，特此记录一下。

正文

前段时间跑了一个TextCnn的demo，但是一直出现nan的情况。排查了好久发现是全连接层后产生了nan，一个比较奇怪的现象。使用nn.Linear函数实现全连接，把相同的输入数据和全连接层参数取出来后用numpy的dot函数计算，发现结果不是nan，也就是说不是数据的问题，是计算的过程中出现了问题。检查的时候发现模型和数据都没有用to.(‘cuda’)放到gpu上训练，所以猜想会不会是gpu训练和cpu训练的问题。用to.(‘cuda’)将模型和数据都放到gpu上后，nan现象消失了。