qq_41512194的博客

原创 # 理解交叉熵

理解交叉熵首先说说概率论的期望值期望：表示随机变量的均值如果变量满足均匀分布，那么期望=均值（比如抛硬币问题）然后理解什么是熵。熵：表示所有信息量的期望，信息量： （log的底数是可以改变的，默认底数为2）我们说，概率越小，表示信息量越大（比如中国队进入世界杯决赛，这就是小概率事件，则信息量大，熵也大）熵的定义：那我们对信息量求期望，则然后理解什么是相对熵（即KL散度）KL散度：同一随机变量，有两个单独的概率分布 、 ，我们可以用KL散度来衡量这两个分布之间的差异从公式可看出，