在Keras中,官方内置了几种评价函数。
- 对于二分类问题,评价指标可以用 binary_accuracy,就是最直观上讲的准确率。
- 当面对多分类或者多标签的任务时,评价度量可能会用到这两个 categorical_accuracy和 sparse_categorical_accuracy
binary_accuracy自然不必多讲,这篇文章讲一下categorical_accuracy和 sparse_categorical_accuracy的区别:
Keras 官方API在这里, 里面没有讲到各个度量指标的具体含义,于是我们来看一下源码。
def categorical_accuracy(y_true, y_pred):
return K.cast(K.equal(K.argmax(y_true, axis=-1),
K.argmax(y_pred, axis=-1)),
K.floatx())
def sparse_categorical_accuracy(y_true, y_pred):
return K.cast(K.equal(K.max(y_true, axis=-1),
K.cast(K.argmax(y_pred, axis=-1), K.floatx())),
K.floatx())
从代码可以看到:
categorical_accuracy
:检查 y_ture 中最大值对应的index 与 y_pred 中最大值对应的index是否相等。
- 注意,这里只比较一个值,即最大的那个值的index,这对于【多分类单标签】任务的是合适的,但并不适用于【多标签】任务。
- 这里的 y_true 应为一个 one-hot 向量
sparse_categorical_accuracy
检查 y_true 中的值(本身就是index) 与 y_pred 中最大值对应的index是否相等。
- 针对稀疏情况的多分类,这里的 y_true 就是真实类的 index ,是个整数
举个栗子
如果有四个类,该样本属于第三类,那么在 categorical_accuracy 中 y_true =(0,0, 1, 0) , 而在 sparse_categorical_accuracy中 y_true = 2 (0-based计数)。但是,y_pred是一样的,均为softmax输出的vector,比如 y_pred = (0.02, 0.05, 0.83, 0.1),于是
y_true = (0, 0, 1, 0)
y_pred = (0.02, 0.05, 0.83, 0.1)
acc = categorical_accuracy(y_true, y_pred)
y_true = 2
y_pred = (0.02, 0.05, 0.83, 0.1)
acc = sparse_categorical_accuracy(y_true, y_pred)
Reference:
Keras - Difference between categorical_accuracy and sparse_categorical_accuracy