论文笔记——Mariana:Tencent Deep Learning Platform and its Applications
文章首先阐述Tencent搭建深度学习平台应满足的需求:
(1)要求平台有能够训练大量的参数和数据的能力;
(2)平台能够训练大模型;
(3)平台在实际应用中能够简便的使用;
介绍了Google DistBelief系统for cpu、COTS系统for GPU中使用的两种并行方式:数据并行和模型并行。数据并行把数据分成几部分,同时训练一个模型,前向传播完成后,收集梯度、更新模型参数;模型
原创
2015-12-23 15:02:09 ·
816 阅读 ·
0 评论