qq_41512194的博客

原创 # 理解交叉熵

理解交叉熵 首先说说概率论的期望值 期望：表示随机变量的均值 如果变量满足均匀分布，那么期望=均值（比如抛硬币问题） 然后理解什么是熵。 熵：表示所有信息量的期望，信息量： （log的底数是可以改变的，默认底数为2） 我们说，概率越小，表示信息量越大（比如中国队进入世界杯决赛，这就是小概率事件，则信息量大，熵也大） 熵的定义： 那我们对信息量求期望，则 然后理解什么是相对熵（即KL散度） KL散度：同一随机变量，有两个单独的概率分布 、 ，我们可以用KL散度来衡量这两个分布之间的差异 从公式可看出，