深度学习与分布式
奔跑的小鱼_
关注深度学习的分布式优化
展开
-
深度学习平台的分布式实现综述
前一篇文章中,我们提到了Eric Xing教授针对如何构建大规模机器学习平台的综述[1],包含数据并行,模型并行等,那么具体到深度学习来说,应当如何有效构建呢?本文在这方面做个简要概述。如果模型能够在单个节点装下,那么采用数据并行是最适合的,利用DownpourSGD(既DistBelief)结构的参数服务器可以很容易实现分布式深度学习,这种方式很适合于大量数据和较小模型的训练转载 2016-06-07 16:57:25 · 9164 阅读 · 0 评论 -
DistBelief 框架下的并行随机梯度下降法 - Downpour SGD
本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记,重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD,该方法通过分布式地部署多个模型副本和一个“参数服务器”,同时实转载 2016-08-23 16:54:53 · 812 阅读 · 0 评论