tensorflow性能优化

tensorflow性能优化

• 运算操作调度
  • 当有多个高阶运算操作同时存在时，tf会自动识别这些重复计算，同时改写计算图，只执行一次重复的计算，然后把这些高阶运算的后续计算全部连接到这些共有的计算上，避免冗余计算。
  • 安排运算的顺序改善数据传输与内存占用的问题。错开某些大头数据的运算。
  • 安排节点的执行时间，如果节点过早的接收数据，那么数据会过早的堆积在设备内存中，所以tf设计了接受策略，在刚好需要数据时才会接收数据。
• 异步计算支持
• 第三方计算库
• 三种并行计算模式
  • 数据并行计算模式
    • 同步并行，优点：没有梯度干扰，缺点：容错性差
    • 异步并行，优点：容错性好，缺点：由于梯度干扰，每一组的梯度利用效率下降
  • 模型并行模式
  • 流水线并行模式