Tensorflow的并行计算

每个GPU上的模型相同,喂以相同模型不同的训练样本。
数据并行根据参数更新方式的不同又可以分为同步数据并行和异步数据并行。

1、同步更新

每个GPU根据loss计算各自的gradient,汇总所有GPU的gradient,求平均梯度,根据平均梯度更新模型参数,具体过程见下图。所以同步数据并行的速度取决于最慢的GPU,当各个GPU的性能相差不大时适用。在同步更新的时候, 每次梯度更新,要等所有分发出去的数据计算完成后,返回回来结果之后,把梯度累加算了均值之后,再更新参数。这样的好处是loss的下降比较稳定, 但是这个的坏处也很明显, 处理的速度取决于最慢的那个分片计算的时间。

2、异步更新

在异步更新的时候, 所有的计算节点,各自算自己的, 更新参数也是自己更新自己计算的结果, 这样的优点就是计算速度快,计算资源能得到充分利用,但是缺点是loss的下降不稳定,抖动大。

3、如何选择

在数据量小的情况下,各个节点的计算能力比较均衡的情况下,推荐使用同步模式。数据量很大,各个机器的计算性能掺差不齐的情况下,
推荐使用异步的方式。

4. 共享变量

之前提到了我们在定义多层变量时,一个一个定义权重和偏置,对于大型网络是不太现实和让人崩溃的。所有就有了tf.variable_scope 和 tf.name_scope()。
tf.name_scope()主要是与Variable配合,方便参数命名管理
tf.variable_scope与tf.get_variable配合使用,实现变量共享
tf.name_scope命名空间是便于管理变量,不同命名空间下的用Variable定义的变量名允许相同。可以理解为名字相同,但是姓(命名空间)不同,指向的也是不同变量。而tf.get_variable()定义的变量不受命名空间的限制(主要是用于共享变量,避免大型网络结构中定义过多的模型参数。我们主要看tf.variable_scope()的使用。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值