分布式机器学习系统
Can Liu
科研狗一只,默默搬砖搞学术!
展开
-
参数服务器——分布式机器学习的新杀器
在大规模数据上跑机器学习任务是过去十多年内系统架构师面临的主要挑战之一,许多模型和抽象先后用于这一任务。从早期的MPI,到后来的Hadoop,乃至于目前使用较多的Spark,都曾被广泛应用于大规模机器学习处理任务。John Langford曾经在他的博客(机器学习领域最好的博客之一)上总结和对比了主流的分布式机器学习框架的抽象[1]:MPI Gradient Aggregation:主要缺点是...转载 2018-10-27 11:21:02 · 765 阅读 · 0 评论 -
Tensorflow系统架构
写在前面最近在学习Tensorflow分布式运行机制的实现,因此,对Tensorflow的系统架构和源码有初步的了解。想把这个学习过程给记录一下,这篇博客就是整个学习过程记录的开端。后续会继续写新的博客,也请大家多多指教。关于TFTensorFlow™是一个基于数据流编程(dataflow programming)的符号数学系统,提供了丰富的深度学习相关的API,支持Python和C++接口...原创 2019-01-09 14:17:28 · 982 阅读 · 1 评论