交叉熵(CrossEntropy)是常见的损失函数,本文详细推导一下它的梯度,面试大厂或者工程实践中都可能会用到。
前向传播
假设分类任务类别数是VV,隐层输出是VV维向量h\mathbf{h},标准的one-hot向量是y\mathbf{y},正确的类别是kk。那么交叉熵损失可以定义为:
L
交叉熵(CrossEntropy)是常见的损失函数,本文详细推导一下它的梯度,面试大厂或者工程实践中都可能会用到。
假设分类任务类别数是VV,隐层输出是VV维向量h\mathbf{h},标准的one-hot向量是y\mathbf{y},正确的类别是kk。那么交叉熵损失可以定义为:
L