又名TensorFlow踩坑记
模型终于run起来,但是还是有问题,这几天我的状态:
打开三个终端,
一个输入Top 看内存占用:
10.6%还算正常,毕竟前几天我是经常50%以上爆内存的人...
一个终端输入:
watch -n 2 nvidia-smi 看GPU使用情况 :
我使用的是第三个GPU,占了9G,GPU利用率100%也正常
一个终端实时观察模型输出:
不到一个epoch,目前Loss没有明显下降,不过有初步下降趋势,毕竟前几天我的Loss曲线神奇上升。
怀疑自己写了个梯度上升模型,分分钟Loss20多...