Spark中定义的损失函数及梯度,在看源码之前,先回顾一下机器学习中定义了哪些损失函数,毕竟梯度求解是为优化求解损失函数服务的。
监督学习问题是在假设空间F中选取模型f作为决策函数,对于给定的输入X,由f(X)给出相应的输出Y,这个输出的预测值f(X)与真实值Y可能一致也可能不一致,用一个损失函数(lossfunction)或代价函数(cost function)来度量预测错误的程度。损失函数是f(X)和Y的非负实值函数,记作L(Y, f(X)).
统计学习中常用的损失函数有以下几种:
(1) 0-1损失函数(0-1 loss function):
(2) 平方损失函数(quadraticloss function)
(3) 绝对损失函数(absolute lossfunction)
(4) 对数损失函数(logarithmicloss function) 或对数似然损失函数(log-likelihood loss function)
(5)间隔损失函数(hinge loss)
![](https://i-blog.csdnimg.cn/blog_migrate/c5be906bcc0be2cadab06f1e9e48f472.png)
在不考虑过拟合的情况下,损失函数越小,模型就越好。
Spark中定义梯度和损失函数求解的类包括一个Gradient基类及其三个实现类:
Gradient
梯度计算的抽象类,定义了计算梯度值和损失函数值的compute函数:
def compute(data: Vector, label: Double, weights: Vector): (Vector, Double) = {
val gradient = Vectors.zeros(weights.size)
val loss = compute(data, label, weights, gradient)
(gradient, loss)
}
后面的梯度计算类都继承子Gradient类并实现compute函数。
LeastSquaresGradient
实现了最小二乘法进行线性回归的梯度计算方法。
其对compute函数进行的覆写
override def compute(data: Vector, label: Double, weights: Vector): (Vector, Double) = {
val diff = dot(data, weights) - label
val loss = diff * diff / 2.0
val gradient = data.copy
scal(diff, gradient)//常数乘以向量 更新后的gradient即为梯度 gradient=(y - lable)* x
(gradient, loss)
}
使用场景:
1、 参数估计的方法是最小化误差的平方和,其它估计方法不适合用此梯度算子。
2、 Spark实现的是线性回归的梯度计算,非线性回归的梯度计算不适合使用此算子。
HingeGradient
实现了最大化分类间距的hinge loss进行参数估计的梯度下降方法,对compute函数进行的覆写:
class HingeGradient extends Gradient {
override def compute(data: Vector, label: Double, weights: Vector): (Vector, Double) = {
val dotProduct = dot(data, weights)
// Our loss function with {0, 1} labels is max(0, 1 - (2y - 1) (f_w(x)))
// Therefore the gradient is -(2y - 1)*x
val labelScaled = 2 * label - 1.0
if (1.0 > labelScaled * dotProduct) {
val gradient = data.copy
scal(-labelScaled, gradient)
(gradient, 1.0 - labelScaled * dotProduct)
} else {
(Vectors.sparse(weights.size, Array.empty, Array.empty), 0.0)
}
}
使用场景:
适用于利用最大化分类间隔思想来构建分类器,典型的使用如SVM。
LogisticGradient
使用对数似然损失函数对Logistic分类/回归进行参数估计的梯度下降方法。实现的代码比较长,在此就不贴了,在内部分了2分类和多分类两种情况进行计算。