pytorch与tensorflow的区别

图创建

创建和运行计算图可能是两个框架最不同的地方。
在PyTorch中，图结构是动态的，这意味着图在运行时构建。
而在TensorFlow中，图结构是静态的，这意味着图先被“编译”然后再运行。

PyTorch中简单的图结构更容易理解，更重要的是，还更容易调试。调试PyTorch代码就像调试Python代码一样。你可以使用pdb并在任何地方设置断点。调试TensorFlow代码可不容易。要么得从会话请求要检查的变量，要么学会使用TensorFlow的调试器（tfdbg）。

灵活性

tensorflow：静态计算图，数据参数在CPU与GPU之间迁移麻烦，调试麻烦
pytorch：动态计算图，数据参数在CPU与GPU之间迁移十分灵活，调试简便

计算速度
同等条件下：
tensorflow 在CPU上运行速度比 pytorch 快
tensorflow 在GPU上运行速度和 pytorch 差不多

依赖库
tensorflow：支持更多库函数，比如图像数据预处理方式会更多
pytorch：正在扩充，未来和tensorflow应该差别不大

数据加载
tensorflow：API设计庞大，使用有技巧，但有时候不能直接把数据加载进TensorFlow
pytorch：API整体设计粗糙，但加载数据的API设计很友好。加载数据的接口由一个数据集、一个取样器和一个数据加载器构成。

设备管理

tensorflow：不需要手动调整，简单
pytorch：需要明确启用的设备
关于这点，凭个人喜好，我比较喜欢手动启用CUDA_VISIBLE_DEVICES，我个人对内存、显存的管理较严

Pytorch:

os.environ["CUDA_VISIBLE_DEVICES"] = "2"
model = nn.DataParallel(model, device_ids=self.config.device_ids).cuda()

TensorFlow的设备管理非常好用。通常你不需要进行调整，因为默认的设置就很好。例如，TensorFlow会假设你想运行在GPU上（如果有的话）。而在PyTorch中，即使启用了CUDA，你也需要明确把一切移入设备。

TensorFlow设备管理唯一的缺点是，默认情况下，它会占用所有的GPU显存。简单的解决办法是指定CUDA_VISIBLE_DEVICES。有时候大家会忘了这一点，所以GPU在空闲的时候，也会显得很忙。

在PyTorch中，我发现代码需要更频繁的检查CUDA是否可用，以及更明确的设备管理。在编写能够同时在CPU和GPU上运行的代码时尤其如此。以及得把GPU上的PyTorch变量转换为Numpy数组，这就显得有点冗长。

numpy_var = variable.cpu().data.numpy()