交叉熵损失函数简单说明

        交叉熵函数是处理分类问题中常用的一种损失函数,其具体公式为:

        1.交叉熵的值越小,说明两个分布越相似,预测结果越接近真实结果。

        2.交叉熵经常搭配softmax使用,将输出的结果进行处理,使其多个分类的预测值和为1,再通过交叉熵来计算损失。

        3.交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度,在机器学习中就表示为真实概率分布与预测概率分布之间的差异。

为什么使用对数计算?

        交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布间的差异性。信息量的三个性质:      

        1.事件发生的概率越低,信息量越大;

        2.事件发生的概率越高,信息量越低;

        3.多个事件同时发生的概率是多个事件概率相乘,总信息量是多个事件信息量相加。

        根据这三条性质可以知道使用对数形式可以满足性质需求。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值