Tensorflow ——并行计算

Tensorflow ——分布式并行计算

• 数据并行
  一个简单的加速训练的技术是并行地计算梯度，然后更新相应的参数。数据并行又可以根据其更新参数的方式分为同步数据并行和异步数据并行。它们每次的input都是从完整数据中随机获取的一小部分数据，并行的input可能是有所重复的。

  • 同步（synchronous）的数据并行方式如图所示，tensorflow图有着很多的部分图模型计算副本，单一的客户端线程驱动整个训练图，来自不同的设备的数据需要进行同步更新。这种方式在实现时，主要的限制就是每一次更新都是同步的，其整体计算时间取决于性能最差的那个设备。单个设备不会单独对参数进行更新，而会等待所有设备都完成反向传播之后再统一更新参数 。
    
  • 数据并行还有异步（asynchronous）的实现方式，如图所示，与同步方式不同的是，在处理来自不同设备的数据更新时进行异步更新，不同设备之间互不影响，对于每一个图副本都有一个单独的客户端线程与其对应。在这样的实现方式下，即使有部分设备性能特别差甚至中途退出训练，对训练结果和训练效率都不会造成太大影响。但是由于设备间互不影响，所以在更新参数时可能其他设备已经更好的更新过了，所以会造成参数的抖动，但是整体的趋势是向着最好的结果进行的。所以说这种方式更适用于数据量大，更新次数多的情况。在tensorflow中异步训练是默认的并行训练模式。
  • 代码地址：https://blog.csdn.net/sinat_28375239/article/details/108383204
    

• 模型并行
  一个模型并行训练的例子如图所示，其针对的训练对象是同一批样本数据，但是将不同的模型计算部分分布在不同的计算设备上同时执行。
  
  由于模型分割开的各个部分之间有相互依赖关系，因此计算效率不高。所以在模型大小不算太大的情况下一般不使用模型并行。

• 相对于异步模式，在同步模型下根据并行的worker数量线性增加学习速率会取得不错的效果。

• 如果使用tensorflow estimator接口来分布式训练模型的话，在同步模式下需要适当减少训练步数（相对于采用异步模式来说），否则需要花费较长的训练时间。

• 在实际应用中，在相同时间内使用异步模式训练的模型不一定比同步模式差。所以这两种训练模式在实践中都有非常广泛的应用。

TensorFlow一般将任务分为两类job：一类叫参数服务器，parameter server，简称为ps，用于存储tf.Variable；一类就是普通任务，称为worker，用于执行具体的计算。

一般而言，机器学习的参数训练过程可以划分为两个类别：
第一类： 根据参数算算梯度。
第二类：根据梯度更新参数。
对于普通的中等规模的训练，数据量比较大，参数数量不多，计算梯度的任务负荷较重，参数更新的任务负荷较轻，所以将第一类任务交给若干个CPU或GPU去做，第二类任务交给一个CPU即可。
对于超大规模的训练，数据量大、参数多，不仅计算梯度的任务要部署到多个CPU或GPU上，而且更新参数的任务也要部署到多个CPU。
如果计算量足够大，一台机器能搭载的CPU和GPU数量有限，就需要多台机器来进行计算能力的扩展了。参数服务器是一套分布式存储，用于保存参数，并提供参数更新的操作。