损失函数_损失函数不是一个值吗。怎么对参数求导-CSDN博客

本文链接：https://blog.csdn.net/qq_34213260/article/details/106035545

一、定义

在深度学习中，损失函数是用来衡量一组参数的质量的函数,衡量的方式是比较网络输出和真实输出的差异。

 损失函数 loss function		=	代价函数cost function
=目标函数objective function	=	误差函数error function

他们的含义是一样的
也有的资料中用损失函数指单个数据的偏差，用代价函数指整体数据的偏差。

损失函数用来指导训练过程，使得网络的参数向损失降低的方向改变。

随机梯度下降法Stochastic gradient descent.

在这里插入图片描述

不同的任务类型需要不同的损失函数:

网络输出一个连续的数值：例如:预测一栋房屋的价值
损失函数:绝对值误差,平方差

绝对误差函数Absolute value, L1-norm

在这里插入图片描述
因为导数一样，离真值的远近不换导致其导数变化

方差函数Square error, Euclidean loss,L2-norm

在这里插入图片描述 因为离真值的越远，导致其导数越大

网络的输出为一个类别，从预定义的一组类别中的一个
实例:判断邮件是否是垃圾邮件.
损失函数: hinge loss, Cross-entropy loss

如何设计损失函数?

在这里插入图片描述

Cross-entropy loss

在这里插入图片描述

输出属于多个类别中的一个或者多个类，例如一副包含猫咪的图像可以同时属于“猫” ，“哺乳动物” ,“宠物”