损失函数(Loss Function)和代价函数(Cost Function)是同一个东西; 例如:有一组样本数据,用f1(x),f2(x),f3(x)三个函数(模型)分别来拟合,三个函数的输出F(x)与真实值可能相同也可能不同,为了表示拟合的好坏,就用一个函数来度量拟合的程度,如:L(Y,f(x))=(Y-f(x))^2,这个函数就是【损失函数】,损失函数越小,代表模型拟合的越好,但是损失函数不是越小越好,太小容易出现过拟合的现象,从而降低模型的泛化能力。 风险函数--损失函数的期望,可以认为是平均意义下的损失。风险函数涉及到两个概念: 一个是经验风险, 另一个一个是结构风险。 f(x)关于训练样本集的平均损失称为经验风险,即T(x)=1/N(L(Y1,f(x1))+..+L(YN,f(xn))),此时的目标就是求经验风险T(x)的最小化。 当样本容量不大的时候,经验风险最小化模型容易产生“过拟合”的问题。为了“减缓”过拟合问题,就提出了结构风险最小(SRM)的理论。结构风险的定义,就是在经验风险上加上一个正则化项(regularizer)或者叫做罚项(penalty term)。 J(f)专门用来【度量模型的复杂度】,在机器学习中也交叫【正则化项】。常用的有L1,L2范数。 目标函数:即最终的优化函数,min(T(x))+ʎJ(f),包含经验风险和结构风险。
损失函数&代价函数&风险函数&目标函数
最新推荐文章于 2024-08-19 21:49:13 发布