categorical_crossentropy和sparse_categorical_crossentropy两者到底有何区别?
如果 labels 是 one-hot 编码,用 categorical_crossentropy
one-hot 编码:
[[0, 0, 0],
[1, 0, 0],
[0, 1, 0]]
每条每一行是一个label的编码,1所在的位置代表label
如果你的 tagets 是 数字编码 ,用 sparse_categorical_crossentropy
数字编码:[3, 1, 2, 6, 26]
每个数字就是label
这两个函数在数学上没有本质区别,只是接口不一样,那么如何取舍呢?
可以看到sparse,是稀疏的意思,所谓labels稀疏就是:假如你label有好几百类,上千类,那么one-hot编码出来的矩阵,绝大多数数据就是0,毕竟每行中只有一个1。这就是稀疏数据,所以这样的数据就干脆不要one-hot了
对于类别较多的数据,不要选用one-hot,而用数字编码 (sparse_categorical_crossentropy)
而对于类别比较少的数据,就可以选用one-hot(categorical_crossentropy)