pytorch模型训练的时候 GPU 使用率不高

前言：

博主使用的显卡配置为：2*RTX 2080Ti，最近在训练的时候，监控显卡的资源使用情况发现，

虽然同是使用了两张显卡，但是每张显卡的使用率很不稳定，貌似是交替使用，这种情况下训练的速度是很慢的，为了解决

下面是解决这个问题的一些过程。

1. CPU和内存的使用情况

2. 用linux命令查看显卡资源的使用情况

watch -n 1 nvidia-smi

模型执行预测阶段 使用显卡0，但是也只有51%的使用率。

模型在训练阶段，同时使用两张显卡，发现里利用率也不高，我截取的最高的也就60%

3. 在pytorch的文档中找到了解决办法

data.DataLoader(dataset: Dataset[T_co], batch_size: Optional[int] = 1,
             shuffle: bool = False, sampler: Optional[Sampler[int]] = None,
             batch_sampler: Optional[Sampler[Sequence[int]]] = None,
             num_workers: int = 0, collate_fn: _collate_fn_t = None,
             pin_memory: bool = False, drop_last: bool = False,
             timeout: float = 0, worker_init_fn: _worker_init_fn_t = None,
             multiprocessing_context=None, generator=None,
             *, prefetch_factor: int