张伟的专栏

在我之前的项目中用到PyTorch的场景并不多，所以自己对于这个深度学习框架的熟练度也不行，最近因为频繁需要用着PyTorch框架来做调试，需要自己安装搭建这个框架，之前只是用来做推理的，所以直接装的CPU，后面又搞来了GPU的环境这个也需要基于GPU来搭建PyTorch框架，这里主要来总结一下安装方法。因为之前使用tensorflow和keras的时候直接库名称加版本号就可以了，但是pytorch这个稍微麻烦一点，所以想着专门汇总总结记录一下。针对不同的CUDA会有不同的安装命令。

当我在单个 GPU 上执行时，我遇到了的问题。这种缓慢的行为出现在被处理之后 - 也就是 GPU 已经快满了，需要回收它的内存来接受下一批的时候。在GPU 状态 - 性能（如预期）。我希望下面的代码 sn-p 和输出都能简明扼要地说明问题。（为了简洁，我已经从 sn-p 中删除了打印和时间测量）输出我是否遗漏了一些明显的东西，或者这是GPU 行为？我在进行复杂编码之前发布这个问题，在我的服务器上可用的几个 GPU 和 CPU 之间进行处理。提前致谢， 阿尔伯特。

可以看出，因为第一次开始计时前没有同步线程，所以在GPU warm up调用api完毕后，第一次cuda kernel调用就开始了。注意它是异步的，调用完之后控制权立刻返回给CPU，所以之后计算时间的时候要格外小心，很容易只统计到调用的时间。可以看出，每执行一次（一个框）都经过了三个步骤：先是调用api（左上角蓝色框），然后执行kernel（下方蓝色框），最后线程同步（右上角黄色框）。接下来的代码就随心所欲了，这里简单写了一个测量运行时间，对比和torch速度的代码，这部分留着下一章节讲解。