- 博客(3)
- 收藏
- 关注
RSS订阅原创 损失函数中为什么要用Log？
首先我们思考为什么要用softmax，假设我们不用softmax，模型最后的输出有可能是[-0.1, -0.1, 0.1](三分类)，也有可能是[10, 9.9,9.9],我们使用极大似然估计来分析，第二个输出的值大，它的置信度应该很高，但事实并非如此。我们分析似然函数，其值在0到1之间，而且越接近于1说明分类的效果越好，越接近于0说明分类的效果越差。,而负对数似然就不会有这个问题，只有存在单个样本真实概率为0的情况下，才会出现数值溢出的问题，也是半精度计算中经常出现的loss nan的问题。
2023-04-30 13:14:51
1343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人