9、PyTorch教程---术语

在本章中，我们将讨论PyTorch中一些最常用的术语。

PyTorch和NumPy
PyTorch张量与NumPy数组是相同的。张量是一个n维数组，就PyTorch而言，它提供了许多用于操作这些张量的函数。

PyTorch张量通常利用GPU来加速数值计算。在PyTorch中创建的这些张量可以用于拟合随机数据的两层网络。用户可以手动实现通过网络的前向传播和反向传播。

变量和自动求导
使用自动求导时，网络的前向传播将定义一个计算图 - 图中的节点将是张量，边将是从输入张量产生输出张量的函数。

PyTorch张量可以创建为变量对象，其中变量表示计算图中的节点。

动态图
静态图很好，因为用户可以提前优化图。如果程序员一次又一次地重复使用相同的图，那么这个潜在昂贵的提前优化可以在同一个图一次又一次地重新运行时保持不变。

它们之间的主要区别在于TensorFlow的计算图是静态的，而PyTorch使用动态计算图。

优化包
PyTorch中的优化包抽象了一个以多种方式实现的优化算法的概念，并提供了常用优化算法的示例。这可以在导入语句中调用。

多进程
多进程支持相同的操作，以便所有张量都在多个处理器上工作。队列中的数据将移入共享内存，然后只会发送一个句柄给另一个进程。