损失函数
度量模型一次预测的好坏 L( Y,f(X) )
- 常见类型:
期望风险(风险函数)
度量平均意义下的模型预测的好坏,即损失函数的期望。(关于 联行分布的期望,未知,无法直接计算)
经验风险
模型关于训练数据集的平均损失,当样本容量N–>∞,经验风险趋于期望风险。
经验风险最小化,保证模型有很好的学习效果。
结构风险(正则化)
为防止过拟合而提出,在经验风险的基础上加上了正则化项或罚项。
结构风险最小化等价于正则化。目的是选择经验风险与复杂度同时较小的模型。
正则化项表示模型的复杂度,形式多样,可以是 L1或L2范数。
其中基于L1正则化的学习方法(如lasso),也是一种特征选择方法——嵌入式特征选择。
因为L1正则化的过程中,更易产生稀疏解,会产生很多零项,即筛选掉部分特征。是一种将特征选择和学习器训练过程融合的方法。