各个算法的损失函数

 

1、平方和损失函数(square loss):L(yi,f(xi)) = (yi - f(xi))2,常用于回归中如最小二乘，权重可直接初始化，再通过梯度下降不断更新。

2、铰链损失函数(Hing loss): L(mi) = max(0,1-mi(w)),常用于SVM中，在SVM损失函数表示为：

L(y(i),x(i)) = max(0,1-y(i)f(x(i)))

3、对数损失函数：L(yi,f(xi)) = -logP(yi|xi),常用于逻辑回归

4、对数损失函数：L(yi,f(xi)) = exp(-yif(xi)),主要应用于Boosting算法中