机器学习之代价函数

代价函数又叫损失函数，用来度量f(x)和Y的误差程度，记作L（Y，f(x)）。

常用代价函数： 

0-1损失函数，平方损失函数，绝对损失函数 ，对数损失函数。

机器学习的目标是让E（L（Y，f(x)））最小。

平均损失称为经验风险或经验损失。

经验风险最小化：经验风险模型最优。样本容量较大时较好。例子：极大似然估计（需搞清楚）。

样本过小时用经验风险容易过拟合。

结构风险最小化：正则化。在经验风险上加了表示模型复杂度的正则化项或罚项,即 k J(f)。例子：贝叶斯估计中最大后验概率估计（MAP）。

下面介绍常见机器学习算法中的代价函数：

感知机模型：

损失函数：误分类点到超平面S的距离。