前言:
博主使用的显卡配置为:2*RTX 2080Ti,最近在训练的时候,监控显卡的资源使用情况发现,
虽然同是使用了两张显卡,但是每张显卡的使用率很不稳定,貌似是交替使用,这种情况下训练的速度是很慢的,为了解决
下面是解决这个问题的一些过程。
1. CPU和内存的使用情况
2. 用linux命令查看显卡资源的使用情况
watch -n 1 nvidia-smi
模型执行预测阶段 使用显卡0,但是也只有51%的使用率。
模型在训练阶段,同时使用两张显卡,发现里利用率也不高,我截取的最高的也就60%
3. 在pytorch的文档中找到了解决办法
data.DataLoader(dataset: Dataset[T_co], batch_size: Optional[int] = 1, shuffle: bool = False, sampler: Optional[Sampler[int]] = None, batch_sampler: Optional[Sampler[Sequence[int]]] = None, num_workers: int = 0, collate_fn: _collate_fn_t = None, pin_memory: bool = False, drop_last: bool = False, timeout: float = 0, worker_init_fn: _worker_init_fn_t = None, multiprocessing_context=None, generator=None, *, prefetch_factor: int