tensorflow的API既支持单机的,又支持分布式的。
tensorflow四个概念:graph->程序、session->进程、runtime->操作系统、device->设备。
Exec System结点通信是利用protobuf数据结构,通过grpc通信传输。protobuf是一种数据结构,可以类似XML/json理解,该格式压缩数据、节省空间,存文件可持久化(二进制形式存储)。定义一个protobuf后,对所有语言都可以用。grpc本质是一个rpc service,通过request<->response形式提供服务。
工业界真正训练NN模型的瓶颈是IO,计算速度GPU很快。model的IO是需要考虑的主要因素,充分利用GPU资源。