《机器学习》笔记---2 模型的损失函数与正则化

损失函数

度量模型一次预测的好坏 L( Y，f(X) )

• 常见类型：
  

期望风险（风险函数）

度量平均意义下的模型预测的好坏，即损失函数的期望。（关于 联行分布的期望，未知，无法直接计算）

经验风险

模型关于训练数据集的平均损失，当样本容量N–>∞，经验风险趋于期望风险。

经验风险最小化，保证模型有很好的学习效果。

结构风险（正则化）

为防止过拟合而提出，在经验风险的基础上加上了正则化项或罚项。

结构风险最小化等价于正则化。目的是选择经验风险与复杂度同时较小的模型。
正则化项表示模型的复杂度，形式多样，可以是 L1或L2范数。

其中基于L1正则化的学习方法（如lasso），也是一种特征选择方法——嵌入式特征选择。
因为L1正则化的过程中，更易产生稀疏解，会产生很多零项，即筛选掉部分特征。是一种将特征选择和学习器训练过程融合的方法。