-
问题描述:在使用Fluid进行模型训练时,使用了GPU进行训练,但发现GPU的利用率几乎为0,这是为何?
-
问题分析:在使用Fluid进行训练时,训练的设备是GPU,此时Fluid会将要训练的数据拷贝到GPU中,在进行数据拷贝是,GPU的利用率是几乎为0的。通常如果训练数据比较大,而模型计算量有比较小,这就会导致GPU大部分时间都拷贝数据,造成GPU利用率为0的现象。
-
解决方法:
如果训练的模型比较简单,可以尝试直接使用CPU进行训练,或者使用多几张GPU卡来训练,降低IO占用的时间。