num-worker是, 是加载数据(batch)的线程数目,是通过影响数据加载速度,从而影响训练速度。
当加载batch的时间<数据训练的时间
既GPU训练完一组数据,可以直接从CPU调用next batch 数据,
不需要额外的worker,既增加一个worker也不会增加训练速度。
当加载batch的时间>数据训练的时间
GPU训练完一组数据后还要等待CPU加载数据,
若增加一个worker,当worker_1还没加载完毕,可以先调用worker_2的数据,
既增加了训练速度。