分布式机器学习

第二章

1.期望风险与经验风险

 经验风险：

损失函数：针对单个具体的样本而言，表示模型预测的值与真实值之间的差距.

对一组样本而言，经验风险即训练集中所有样本点的损失函数的平均值。经验风险最小化即使得上式最小化。经验风险越小说明对训练集的拟合能力越强，但是不能说明对未知样本的效果。

期望风险：

期望风险是一个全局概念，表示决策函数对所有样本预测能力的大小。理想情况下，决策函数目标应该是使得期望风险最小化。然而期望风险难以得到，则以局部最优代替全局最优，用经验风险最小化代替全局风险最小化。

2.泛化误差

优化算法的输出模型与最优模型所对应的期望风险之差尽可能小

分解：

 

 

 对估计误差进行分解：

 

 

 

第三章

1. 数据划分模块

划分训练样本：

1. 随机采样

局部训练数据和原数据是独立同分布的；

弊端：（1）全局采样代价比较高 （2）低频的训练样本没有得到充分利用

1. 基于置乱切分

   需要进行定期的局部和全局的乱序操作

数据打乱——无放回的随机采样

独立同分布——有放回的随机采样

2. 单机优化模块

根据自己的训练数据，计算经验风险（所有训练样本上的损失函数之和）

利用某种优化算法（SGD）通过最小化经验风险来学习模型的参数

3. 通信模块

通信拓扑：

1. 基于迭代式MapReduce/AllReduce的通信拓扑

2. 基于参数服务器的通信拓扑

3. 基于数据流的通信拓扑（模型并行）

通信步调:

• 同步

• 异步

4. 数据与模型聚合模块

第四章

1. 机器学习优化框架

1. 凸函数
2. 强凸函数
3. Lipschitz连续
4. 光滑函数