TensorFlow之TensorFlow计算加速

在前面的章节中介绍了使用TensorFlow实现各种深度学习的算法。然而要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如要将前面介绍的Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。
1.首先，我们将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍TensorFlow会话（tf.Session）时的一些常用参数。通过这些参数可以使调试更加方便而且程序的可扩展性更好。然而，在很多情况下，单个GPU的加速效率无法满足训练大型深度学习模型的计算量需求，这时将需要利用更多的计算资源。
2.为了同时利用多个GPU或者多台机器，我们将介绍深度学习模型的并行方式。在这一节中也将给出具体的TensorFlow样例程序来使用多GPU训练模型，并比较并行化效率提升的比率。
3.最后我们将介绍分布式TensorFlow，以及如何通过分布式TensorFlow训练深度学习模型。在这一节中将给出具体的TensorFlow样例程序来实现不同的分布式深度学习训练模式。虽然TensorFlow可以支持分布式深度学习模型训练，但是它并不提供集群创建、管理等功能。
4.为了更方便地使用分布式TensorFlow，我们将介绍才云科技基于Kubernetes容器云平台搭建的分布式TensorFlow系统。

1.TensorFlow使用GPU

TensorFlow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地的CPU或者GPU，也可以是某一台远程的服务器。但在本节中只关心本地的设备。TensorFlow会给每一个