统计学习方法（一）

1、统计学习路线

• 模型设计->训练->预测

2、统计学习三要素

• 模型
• 策略：按照什么样的准则学习

1. 用经验风险（训练集的平均损失）估计期望风险
2. 结构化风险：经验损失（经验风险）容易造成过拟合，所以

         结构化风险=经验风险+正则项（表示模型复杂度）

• 算法

3、模型评估和模型选择

• 训练误差：模型关于训练集的平均误差
• 验证误差：模型在验证集（训练集+测试集）上的误差                                                                                  选最优模型              
• 测试误差：模型在测试集上误差                                                                                                                    对学习方法的评估

4、正则化和交叉验证