显卡使用效率低且显存占用大

问题

在用torch进行深度学习时可能会遇到下面问题：

1. 使用nvidia-smi查看显卡使用情况是，发现只有百分之20-30。
   使用：

watch -n 0.2 nvidia-smi

动态查看显卡使用时并未发现连续大的跳动，比如一会1%，一会90%的情况。

解决方案

1.查看是否在代码中transpose和permute之后加入太多的contiguous(),如果有必要在加入，尽量使用view去改变视图。
2.看看reshape方法是不是用的太多。（用太多的话可能和在permute或transpose后面加入太多contiguous差不多效果）