如何向女朋友介绍损失函数

目录

交叉熵损失函数

均方误差

自定义损失函数


     

上篇文章咱们聊到了激活函数,在最后的时候又说到了输出层的一些东西。关于神经网络还有一点也是十分重要而又容易忽略的,那就是损失函数(loss function)。

      通俗的说,在神经网络中的损失函数是指寻找最优权重的依据指标。根据实际解决的问题不同,损失函数的形式往往也不相同。在神经网络中最常使用的损失函数有均方误差(mean squared error )和交叉熵误差(cross entropy error)。

       在介绍神经网络的时候,我们使用设置阈值的方式来实现逻辑电路(其实也就是分类问题),但在解决实际问题时,一般不这么处理。我们以手写数字识别为例子,比如手写数字1,我们将其表示为[0,1,0,0,0,0,0,0,0,0](这种表示方式称之为one-hot表示),于此对应的是输出结果越接近[0,1,0,0,0,0,0,0,0,0]越好,那么如何判断输出与其有多接近呢?类似于这种问题交叉熵是常用的判断方法之一,它衡量的是两个分布之间的距离,在分类问题中会经常使用到交叉熵损失函数。

交叉熵损失函数

给定两个概率分布分别为p和q,则使用q来表示p的交叉熵为:

 

      有小伙伴注意到了,交叉熵是衡量两个概率分布间的距离,当距离越小时,两个分布越接近。但是神经网络最后的输出不一定是一个概率分布。但是大管在上篇博文中和各位大佬聊了输出层,其中就说了使用softmax函数可以完美的将输出层的输出转变成概率分布。从公式中,可以看到,交叉熵并不是对称的即(H(p, q)≠H(q, p)),其表达的意义也不一样。它刻画的是通过概率分布 q 来表达概率分布 p 的困难程度。因为正确答案是希望得到的结果,所以当交叉熵作为神经网络的损失函数时,p 代表的是正确答案, q 代表的是预测值(即用预测值来表示正确值)。纸上得来终觉浅,绝知此事要躬行,还是通过一个小例子来看看交叉熵到底是如何运算的。

      假设有一个三分类问题,正确的结果应该是(1,0,0)。现在有两个模型,模型1预测的结果为(0.5,0.4,0.1),模型2预测的结果为(0.8,0.1,0.1),下面分别计算两个模型和正确结果之间的交叉熵:

模型1:

模型2:

可以看到,第二个模型要比第一个模型好。通过上面的计算,我们仿佛能发现一个问题,就是交叉熵的值是由正确标签对应的结果决定的。同时从交叉熵的公式中可以看出,负的自然对数可以避免梯度消失的问题,因为很多输出都会包含指数函数,而交叉熵中的自然对数却刚好笑出了输出单元中的指数效果。

然而对于回归问题,是对具体数值的预测。预测的结果往往是一个连续的实数,解决这种问题的神经网络一般只有一个输出结点。类似于这种回归问题最常用的损失函数是均方误差。

均方误差

其中yi为一个bach中正确的标签值,yi'为预测标签值。

      均方误差可能比较简单、好理解,但是在使用梯度优化的方法时,效果往往不好,一些饱和的输出单元在使用均方误差时会产生非常小的梯度。这也解释了为什么交叉熵误差比均方误差更受欢迎的原因之一(划重点)。

自定义损失函数

      回到开头的一句话,“实际解决的问题不同,损失函数的形式往往也不相同”,那现在我们就可以自己定义损失函数。

      例如,如果一件衣服的成本是1元,但是利润是10元,那么少预测一个就少挣 10 元,而多预测一个才少挣1元。自定义损失函数为:

 其中:

即当预测值大于实际生产值的时候,系数为10,当预测值小于实际生产值时系数为1。

所以对于相同的神经网络,不同的损失函数会产生重大的影响。

多内容下载机器学习资料请扫描下方二维码关注小编公众号:程序员大管

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值