深度学习100问15:什么是交叉熵误差

嘿，交叉熵误差就像是一个“挑剔的裁判”。
 
一、定义及原理
 
想象一下，你在玩一个猜概率的游戏。比如说有个神秘盒子，里面可能有个红球或者蓝球，你要猜猜红球

出现的概率是多少。真实的情况呢，就像是有个“标准答案”，知道红球出现的真正概率分布。而你的猜测呢，就是你给出的预测概率分布。交叉熵误差就是来衡量你的猜测和“标准答案”之间的差距有多大。如果你的猜测和真实情况很接近，交叉熵误差就小；要是差得远呢，交叉熵误差就大。
 
 
二、作用及优点
 
1. 作用：
- 在分类问题里呀，交叉熵误差就像个严格的老师，它当损失函数，让模型不断学习，变得更聪明，好让预测结果更接近真实结果。
- 就像一个测量工具，能帮我们看看模型表现得好不好，两个概率分布之间差多少。
2. 优点：
- 如果模型猜错了，交叉熵误差会狠狠地“惩罚”它，这样模型就会赶紧改正，更快地学会正确的玩法。
- 这个“裁判”的数学性质很不错，方便我们找到让模型变好的方法。