分布式机器学习核心理念

以下文章摘录自：

《机器学习观止——核心原理与实践》

京东： https://item.jd.com/13166960.html

当当：http://product.dangdang.com/29218274.html

(由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情)

 

 

1.1        分布式机器学习核心理念

神经网络模型的参数规模和数据量的指数级增长，使得业界对于机器学习框架的性能诉求也越来越强烈。在单机环境下训练一个大数据量的网络模型，理论上有可能需时数月甚至数年，无论是在学术界还是工业界这显然都是无法接受的。

因而如何实现分布式的机器学习框架是近年来兴起的又一个热门研究方向。本章内容我们将梳理目前这个研究方向上的一些前沿技术和成果，以及它们的主要优缺点。

在一个分布式机器学习框架中，至少包含如下几个核心元素：

l  机器学习模型

既可以是机器学习模型，也可以是深度学习模型

l  模型参数

机器学习模型和模型参数的关系有点类似于“程序和数据”——程序是只读的代码，数据则