Mariana: Tencent Deep Learning Platform and its Application学习

目的：

1.提供大规模的计算能力，为了能够快速训练

2.能够训练大型的模型；

3.能够方便你使用各种模型，优化方法和调整参数。

三种Frameworks：

Multi-GPU, data parallelismL:

模型复制到多个GPU上，数据并行的传入GPU进行训练，每轮训练需要进行parameters collection和parameters distribution。

Multi-GPU，modal and data parallelism

模型和数据都并行化处理，worker group间数据并行，worker group内模型并行。

CPU cluster：