Google Brain 出品的第一代分布式机器学习的系统名叫 DistBelief,TensorFlow 是他的二代改良版,针对真对学习做了特殊优化。支持单机/单机多卡/集群,支持不同平台,如 CPU/GPU,iOS/Android,支持 Python/C++调用接口。
- 编程模型使用图的方式,好处是 tf 可以通过 placement 算法将图放入不同节点(如果是多个 device)
- 数据在图中以流的方式传递
- Variables 都有相应的 backup 节点
- 不同的 Device 对图中边做修改,增加 Send/Recv 节点,worker 直接控制下一个是哪个 device 运行,降低了 master 的任务量,便于扩容
- 可以在图中定义 node 在哪个/哪种 device 上运行,可以定义哪几个 node 要在一个 device 上运行,可以优化空间,减少传输
- 占坑,明儿继续