第二章
1.期望风险与经验风险
经验风险:
损失函数:针对单个具体的样本而言,表示模型预测的值与真实值之间的差距.
对一组样本而言,经验风险即训练集中所有样本点的损失函数的平均值。经验风险最小化即使得上式最小化。经验风险越小说明对训练集的拟合能力越强,但是不能说明对未知样本的效果。
期望风险:
期望风险是一个全局概念,表示决策函数对所有样本预测能力的大小。理想情况下,决策函数目标应该是使得期望风险最小化。然而期望风险难以得到,则以局部最优代替全局最优,用经验风险最小化代替全局风险最小化。
2.泛化误差
优化算法的输出模型与最优模型所对应的期望风险之差尽可能小
分解:
对估计误差进行分解:
第三章
1. 数据划分模块
划分训练样本:
-
随机采样
局部训练数据和原数据是独立同分布的;
弊端:(1)全局采样代价比较高 (2)低频的训练样本没有得到充分利用
-
基于置乱切分
需要进行定期的局部和全局的乱序操作
数据打乱——无放回的随机采样
独立同分布——有放回的随机采样
2. 单机优化模块
根据自己的训练数据,计算经验风险(所有训练样本上的损失函数之和)
利用某种优化算法(SGD)通过最小化经验风险来学习模型的参数
3. 通信模块
通信拓扑:
-
基于迭代式MapReduce/AllReduce的通信拓扑
-
基于参数服务器的通信拓扑
-
基于数据流的通信拓扑(模型并行)
通信步调:
-
同步
-
异步
4. 数据与模型聚合模块
第四章
1. 机器学习优化框架
- 凸函数
- 强凸函数
- Lipschitz连续
- 光滑函数