文章首先阐述Tencent搭建深度学习平台应满足的需求：
（1）要求平台有能够训练大量的参数和数据的能力；
（2）平台能够训练大模型；
（3）平台在实际应用中能够简便的使用；
介绍了Google DistBelief系统for cpu、COTS系统for GPU中使用的两种并行方式：数据并行和模型并行。数据并行把数据分成几部分，同时训练一个模型&
论文笔记——Mariana:Tencent Deep Learning Platform and its Applications
本文详述了腾讯Mariana深度学习平台的设计理念与应用场景，重点讨论了应对大规模数据和模型的并行计算策略。平台涵盖了三种深度学习框架：基于multi-GPU的数据并行框架用于自动语音识别，卷积神经网络框架结合数据并行和模型并行处理计算机视觉任务，以及针对大型DNN的CPU集群框架。文章还提出了分区线性拓扑结构以优化参数交换效率，以及Approximate AdaGrad方法减少过拟合。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
