Tensorflow支持的设备

神经网络的训练过程中涉及了大量的计算过程，这是天生的，和使用哪种框架没有关系 。性能卓越的运算设备一般比较昂贵，但是能够带来计算速度上的提升。除此之外，在使用 TensorFlow 实现神经网络算法时可以选择使用多个运算设备来加速程序的计算过程。加速计算是本幸的主要内容，为了设计出合理的并行训练的模型，首先需要对并行训练的原理进行了解，这些理论方面的内容放到了下一讲。在以后，我们将学习如何利用单机上的多个设备加速计算的过程，其中就用到了并行训练的原理。同时将介绍如何使用 TensorFlow 完成分布式 的模型训练，这一部分只是讲清楚了思路而和TensorFlow 的开源实现给出了一个例程。

如下图所示， TensorFlow 支持的设备包括 CPU（一般是 x86 或 x64 架构的 CPU，也可以是手机端 ARM 架构的CPU，不过由于 ARM 的 CPU 性能不是十分出众，所以一般不会在训练的过程中被采用）、 GPU 和 TPU （ TensorProcessing Unit，这是 Google 专门为大规模的深度学习计算而研发的特殊设备，目前没有公开发布）。

在之前的章节，我们都是以运行单机模式下的 TensorFlow 程序为主。下图展示了单机模式下 TensorFlow 程序的实现情况，在单机模式下， Client、 Master和 Worker全部工作在一台机器上的同一进程中，可以使用多个设备加速计算的过程，此时 Worker 会对这些设备进行统一的管理。