DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

最新推荐文章于 2022-10-07 16:27:06 发布

皮果提

最新推荐文章于 2022-10-07 16:27:06 发布

阅读量1.8w

点赞数 8

分类专栏：机器学习深度学习并行计算文章标签：随机梯度下降 SGD Downpour SGD DistBelief Deep Learning

本文链接：https://blog.csdn.net/itplus/article/details/31831661

版权

机器学习同时被 3 个专栏收录

37 篇文章 16 订阅

订阅专栏

深度学习

19 篇文章 27 订阅

订阅专栏

并行计算

3 篇文章 0 订阅

订阅专栏

      
     本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题有很好的效果。

作者: peghoty

出处: http://blog.csdn.net/itplus/article/details/31831661

欢迎转载/分享, 但请务必声明文章出处.

皮果提

关注

8
点赞
踩
19

收藏

觉得还不错? 一键收藏
5
评论
DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题
复制链接

扫一扫