结合PyTorch和TensorFlow2 汇总理解损失函数

最新推荐文章于 2024-05-05 16:38:26 发布
最新推荐文章于 2024-05-05 16:38:26 发布
阅读量1.4k 收藏 6
点赞数 2
文章标签： 深度学习 python 机器学习 vbscript 人工智能
原文链接：https://bbs.sffai.com/p/2-z
版权

点击上方“机器学习与生成对抗网络”，关注"星标"

获取有趣、好玩的前沿干货！

作者：DengBoCong

地址：https://www.zhihu.com/people/dengbocong

编辑 人工智能前沿讲习

本文打算讨论在深度学习中常用的十余种损失函数（含变种），结合PyTorch和TensorFlow2对其概念、公式及用途进行阐述，希望能达到看过的伙伴对各种损失函数有个大致的了解以及使用。本文对原理只是浅尝辄止，不进行深挖，感兴趣的伙伴可以针对每个部分深入翻阅资料。

使用版本：

  • TensorFlow2.3

  • PyTorch1.7.0


01

交叉熵损失（CrossEntropyLoss）

对于单事件的信息量而言，当事件发生的概率越大时，信息量越小，需要明确的是，信息量是对于单个事件来说的，实际事件存在很多种可能，所以这个时候熵就派上用场了，熵是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。交叉熵用来描述两个分布之间的差距，交叉熵越小，假设分布离真实分布越近，模型越好。

在分类问题模型中（不一定是二分类），如逻辑回归、神经网络等，在这些模型的最后通常会经过一个sigmoid函数（softmax函数），输出一个概率值（一组概率值），这个概率值反映了预测为正类的可能性（一组概率值反应了所有分类的可能性）。而对于预测的概率分布和真实的概率分布之间，使用交叉熵来计算他们之间的差距，换句不严谨的话来说，交叉熵损失函数的输入，是softmax或者sigmoid函数的输出。交叉熵损失可以从理论公式推导出几个结论（优点），具体公式推导不在这里详细讲解，如下：

  • 预测的值跟目标值越远时，参数调整就越快，收敛就越快；

  • 不会陷入局部最优解

交叉熵损失函数的标准形式（也就是二分类交叉熵损失）如下:

其中，  表示样本  的标签，正类为1，负类为0，  表示样本  预测为正的概率。

多分类交叉熵损失如下：

其中，  表示类别的数量，  表示变量（0或1），如果该类别和样本  的类别相同就是1，否则是0，  表示对于观测样本  属于类别  的预测概率。

Tensorflow：

  • BinaryCrossentropy[1]：二分类，经常搭配Sigmoid使用

tf.keras.losses.BinaryCrossentropy(from_logits=False, label_smoothing=0, reduction=losses_utils.ReductionV2.AUTO, name='binary_crossentropy')参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  label_smoothing：[0,1]之间浮点值，加入噪声，减少了真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • binary_crossentropy[2]

tf.keras.losses.binary_crossentropy(y_true, y_pred, from_logits=False, label_smoothing=0)参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  label_smoothing：[0,1]之间浮点值，加入噪声，减少了真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。

  • CategoricalCrossentropy[3]：多分类，经常搭配Softmax使用

tf.keras.losses.CategoricalCrossentropy(from_logits=False, label_smoothing=0, reduction=losses_utils.ReductionV2.AUTO, name='categorical_crossentropy')参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  label_smoothing：[0,1]之间浮点值，加入噪声，减少了真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • categorical_crossentropy[4]

tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits=False, label_smoothing=0)参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  label_smoothing：[0,1]之间浮点值，加入噪声，减少了真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。

  • SparseCategoricalCrossentropy[5]：多分类，经常搭配Softmax使用，和CategoricalCrossentropy不同之处在于，CategoricalCrossentropy是one-hot编码，而SparseCategoricalCrossentropy使用一个位置整数表示类别

tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False, reduction=losses_utils.ReductionV2.AUTO, name='sparse_categorical_crossentropy')参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • sparse_categorical_crossentropy[6]

tf.keras.losses.sparse_categorical_crossentropy(y_true, y_pred, from_logits=False, axis=-1)参数：  from_logits：默认False。为True，表示接收到了原始的logits，为False表示输出层经过了概率处理（softmax）  axis：默认是-1，计算交叉熵的维度

PyTorch：

  • BCELoss[7]

torch.nn.BCELoss(weight: Optional[torch.Tensor] = None, size_average=None, reduce=None, reduction: str = 'mean')参数：  weight：每个分类的缩放权重，传入的大小必须和类别数量一至  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction：string类型，'none' | 'mean' | 'sum'三种参数值

  • BCEWithLogitsLoss[8]：其实和TensorFlow是的`from_logits`参数很像，在BCELoss的基础上合并了Sigmoid

torch.nn.BCEWithLogitsLoss(weight: Optional[torch.Tensor] = None, size_average=None, reduce=None, reduction: str = 'mean', pos_weight: Optional[torch.Tensor] = None)参数：  weight：每个分类的缩放权重，传入的大小必须和类别数量一至  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction：string类型，'none' | 'mean' | 'sum'三种参数值  pos_weight：正样本的权重, 当p>1，提高召回率，当p<1，提高精确度。可达到权衡召回率(Recall)和精确度(Precision)的作用。

  • CrossEntropyLoss[9]

torch.nn.CrossEntropyLoss(weight: Optional[torch.Tensor] = None, size_average=None, ignore_index: int = -100, reduce=None, reduction: str = 'mean')

参数：  weight：每个分类的缩放权重，传入的大小必须和类别数量一至  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  ignore_index：忽略某一类别，不计算其loss，其loss会为0，并且，在采用size_average时，不会计算那一类的loss，除的时候的分母也不会统计那一类的样本  reduce：bool类型，返回值是否为标量，默认为True  reduction：string类型，'none' | 'mean' | 'sum'三种参数值
02


KL散度

我们在计算预测和真实标签之间损失时，需要拉近他们分布之间的差距，即模型得到的预测分布应该与数据的实际分布情况尽可能相近。KL散度(相对熵)是用来衡量两个概率分布之间的差异。模型需要得到最大似然估计，乘以负Log以后就相当于求最小值，此时等价于求最小化KL散度(相对熵)。所以得到KL散度就得到了最大似然。又因为KL散度中包含两个部分，第一部分是交叉熵，第二部分是信息熵，即KL=交叉熵−信息熵。信息熵是消除不确定性所需信息量的度量，简单来说就是真实的概率分布，而这部分是固定的，所以优化KL散度就是近似于优化交叉熵。下面是KL散度的公式：

联系上面的交叉熵，我们可以将公式简化为（KL散度 = 交叉熵 - 熵）：

监督学习中，因为训练集中每个样本的标签是已知的，此时标签和预测的标签之间的KL散度等价于交叉熵。

TensorFlow：

  • KLD | kullback_leibler_divergence[10]

tf.keras.losses.KLD(y_true, y_pred)

  • KLDivergence[11]

tf.keras.losses.KLDivergence(reduction=losses_utils.ReductionV2.AUTO, name='kl_divergence')参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

Pytorch：

  • KLDivLoss[12]

torch.nn.KLDivLoss(size_average=None, reduce=None, reduction: str = 'mean', log_target: bool = False)参数：  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean  log_target：默认False，指定是否在日志空间中传递目标


03

平均绝对误差（L1范数损失）

L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值  与估计值  的绝对差值的总和  最小化：

缺点：

  • 梯度恒定，不论预测值是否接近真实值，这很容易导致发散，或者错过极值点。

  • 导数不连续，导致求解困难。这也是L1损失函数不广泛使用的主要原因。

优点：

  • 收敛速度比L2损失函数要快，这是通过对比函数图像得出来的，L1能提供更大且稳定的梯度。

  • 对异常的离群点有更好的鲁棒性，下面会以例子证实。

TensorFlow：

  • MAE | mean_absolute_error[13]

tf.keras.losses.MAE(y_true, y_pred)

  • MeanAbsoluteError[14]

tf.keras.losses.MeanAbsoluteError(reduction=losses_utils.ReductionV2.AUTO, name='mean_absolute_error')参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • MeanAbsolutePercentageError[15]：平均绝对百分比误差

tf.keras.losses.MeanAbsolutePercentageError(reduction=losses_utils.ReductionV2.AUTO, name='mean_absolute_percentage_error')公式：loss = 100 * abs(y_true - y_pred) / y_true参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • MAPE | mean_absolute_percentage_error[16]：平均绝对百分比误差

tf.keras.losses.MAPE(y_true, y_pred)公式：loss = 100 * mean(abs((y_true - y_pred) / y_true), axis=-1)

  • Huber[17]

tf.keras.losses.Huber(delta=1.0, reduction=losses_utils.ReductionV2.AUTO, name='huber_loss')公式：error = y_true - y_pred参数：  delta：float类型，Huber损失函数从二次变为线性的点。  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

PyTorch：

  • L1Loss[18]

torch.nn.L1Loss(size_average=None, reduce=None, reduction: str = 'mean')参数：  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean

  • l1_loss[19]

torch.nn.functional.l1_loss(input, target, size_average=None, reduce=None, reduction='mean')

  • SmoothL1Loss[20]：平滑版L1损失，也被称为 Huber 损失函数。

其中，当  时，  ，否则 

torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction: str = 'mean', beta: float = 1.0)参数：  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean  beta：默认为1，指定在L1和L2损耗之间切换的阈值

  • smooth_l1_loss[21]

torch.nn.functional.smooth_l1_loss(input, target, size_average=None, reduce=None, reduction='mean', beta=1.0)

04

均方误差损失（L2范数损失）

L2范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值  与估计值  的差值的平方和  最小化：

缺点：

  • 收敛速度比L1慢，因为梯度会随着预测值接近真实值而不断减小。

  • 对异常数据比L1敏感，这是平方项引起的，异常数据会引起很大的损失。

优点：

  • 它使训练更容易，因为它的梯度随着预测值接近真实值而不断减小，那么它不会轻易错过极值点，但也容易陷入局部最优。

  • 它的导数具有封闭解，优化和编程非常容易，所以很多回归任务都是用MSE作为损失函数。

TensorFlow：

  • MeanSquaredError[22]

tf.keras.losses.MeanSquaredError(reduction=losses_utils.ReductionV2.AUTO, name='mean_squared_error')公式：loss = square(y_true - y_pred)参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • MSE | mean_squared_error[23]

tf.keras.losses.MSE(y_true, y_pred)公式：loss = mean(square(y_true - y_pred), axis=-1)

  • MeanSquaredLogarithmicError[24]

tf.keras.losses.MeanSquaredLogarithmicError(reduction=losses_utils.ReductionV2.AUTO, name='mean_squared_logarithmic_error')公式：loss = square(log(y_true + 1.) - log(y_pred + 1.))参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • MSLE | mean_squared_logarithmic_error[25]

tf.keras.losses.MSLE(y_true, y_pred)公式：loss = mean(square(log(y_true + 1) - log(y_pred + 1)), axis=-1)

PyTorch：

  • MSELoss[26]

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')参数：  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean

  • mse_loss[27]

torch.nn.functional.mse_loss(input, target, size_average=None, reduce=None, reduction='mean')

05

Hinge loss

有人把hinge loss称为铰链损失函数，它可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的损失函数。hinge loss专用于二分类问题，标签值  ，预测值  。二分类问题的目标函数的要求如下：当  大于等于  或者小于等于  时，都是分类器确定的分类结果，此时的损失函数loss为0。而当预测值  时，分类器对分类结果不确定，loss不为0。显然，当  时，loss达到最大值。对于输出  ，当前  的损失为：

扩展到多分类问题上就需要多加一个边界值，然后叠加起来。公式如下：

Tensorflow：

  • CategoricalHinge[28]

tf.keras.losses.CategoricalHinge(reduction=losses_utils.ReductionV2.AUTO, name='categorical_hinge')公式：loss = maximum(neg - pos + 1, 0) where neg=maximum((1-y_true)*y_pred) and pos=sum(y_true*y_pred)参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • categorical_hinge[29]

tf.keras.losses.categorical_hinge(y_true, y_pred)公式：loss = maximum(neg - pos + 1, 0) where neg=maximum((1-y_true)*y_pred) and pos=sum(y_true*y_pred)

  • Hinge[30]

tf.keras.losses.Hinge(    reduction=losses_utils.ReductionV2.AUTO, name='hinge')公式：loss = maximum(1 - y_true * y_pred, 0)，y_true值应为-1或1。如果提供了二进制（0或1）标签，会将其转换为-1或1参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • hinge[31]

tf.keras.losses.hinge(y_true, y_pred)公式：loss = mean(maximum(1 - y_true * y_pred, 0), axis=-1)

  • SquaredHinge[32]

tf.keras.losses.SquaredHinge(    reduction=losses_utils.ReductionV2.AUTO, name='squared_hinge')公式：loss = square(maximum(1 - y_true * y_pred, 0))，y_true值应为-1或1。如果提供了二进制（0或1）标签，会将其转换为-1或1。参数：  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • squared_hinge[33]

tf.keras.losses.squared_hinge(y_true, y_pred)公式：loss = mean(square(maximum(1 - y_true * y_pred, 0)), axis=-1)

PyTorch：

  • HingeEmbeddingLoss[34]：当  时，  ，当  时， 

torch.nn.HingeEmbeddingLoss(margin: float = 1.0, size_average=None, reduce=None, reduction: str = 'mean')参数：  margin：float类型，默认为1.  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean


06

余弦相似度

余弦相似度是机器学习中的一个重要概念，在Mahout等MLlib中有几种常用的相似度计算方法，如欧氏相似度，皮尔逊相似度，余弦相似度，Tanimoto相似度等。其中，余弦相似度是其中重要的一种。余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。

余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感），公式如下：

Tensorflow：

  • CosineSimilarity[35]：请注意，所得值是介于-1和0之间的负数，其中0表示正交性，而接近-1的值表示更大的相似性。如果y_true或y_pred是零向量，则余弦相似度将为0，而与预测值和目标值之间的接近程度无关。

tf.keras.losses.CosineSimilarity(axis=-1, reduction=losses_utils.ReductionV2.AUTO, name='cosine_similarity')公式：loss = -sum(l2_norm(y_true) * l2_norm(y_pred))参数：  axis：默认-1，沿其计算余弦相似度的维  reduction：传入tf.keras.losses.Reduction类型值，默认AUTO，定义对损失的计算方式。

  • cosine_similarity[36]

tf.keras.losses.cosine_similarity(y_true, y_pred, axis=-1)公式：loss = -sum(l2_norm(y_true) * l2_norm(y_pred))参数：  axis：默认-1，沿其计算余弦相似度的维

PyTorch：

  • CosineEmbeddingLoss[37]：当  时，  ，当  时， 

torch.nn.CosineEmbeddingLoss(margin: float = 0.0, size_average=None, reduce=None, reduction: str = 'mean')参数：  margin：float类型，应为-1到1之间的数字，建议为0到0.5，默认值为0  size_average：bool类型，为True时，返回的loss为平均值，为False时，返回的各样本的loss之和  reduce：bool类型，返回值是否为标量，默认为True  reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean

07

总结

上面这些损失函数是我们在日常中经常使用到的，我将TensorFlow和PyTorch相关的API都贴出来了，也方便查看，可以作为一个手册文章，需要的时候点出来看一下。还有一些其他的损失函数，后续也会都加进来。

外链地址：

[1] https://www.tensorflow.org/api_docs/python/tf/keras/losses/BinaryCrossentropy

[2] https://www.tensorflow.org/api_docs/python/tf/keras/losses/binary_crossentropy

[3] https://www.tensorflow.org/api_docs/python/tf/keras/losses/CategoricalCrossentropy

[4] https://www.tensorflow.org/api_docs/python/tf/keras/losses/categorical_crossentropy

[5] https://www.tensorflow.org/api_docs/python/tf/keras/losses/SparseCategoricalCrossentropy

[6] https://www.tensorflow.org/api_docs/python/tf/keras/losses/sparse_categorical_crossentropy

[7] https://pytorch.org/docs/stable/generated/torch.nn.BCELoss.html

[8] https://pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html

[9] https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html

[10] https://www.tensorflow.org/api_docs/python/tf/keras/losses/KLD

[11] https://www.tensorflow.org/api_docs/python/tf/keras/losses/KLDivergence

[12] https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html

[13] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MAE

[14] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MeanAbsoluteError

[15] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MeanAbsolutePercentageError

[16] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MAPE

[17] https://www.tensorflow.org/api_docs/python/tf/keras/losses/Huber

[18] https://pytorch.org/docs/stable/generated/torch.nn.L1Loss.html

[19] https://pytorch.org/docs/stable/nn.functional.html?highlight=loss#torch.nn.functional.l1_loss

[20] https://pytorch.org/docs/stable/generated/torch.nn.SmoothL1Loss.html

[21] https://pytorch.org/docs/stable/nn.functional.html?highlight=loss#torch.nn.functional.smooth_l1_loss

[22] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MeanSquaredError

[23] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MSE

[24] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MeanSquaredLogarithmicError

[25] https://www.tensorflow.org/api_docs/python/tf/keras/losses/MSLE

[26] https://pytorch.org/docs/stable/generated/torch.nn.MSELoss.html

[27] https://pytorch.org/docs/stable/nn.functional.html?highlight=loss#torch.nn.functional.mse_loss

[28] https://www.tensorflow.org/api_docs/python/tf/keras/losses/CategoricalHinge

[29] https://www.tensorflow.org/api_docs/python/tf/keras/losses/categorical_hinge

[30] https://www.tensorflow.org/api_docs/python/tf/keras/losses/Hinge

[31] https://www.tensorflow.org/api_docs/python/tf/keras/losses/hinge

[32] https://www.tensorflow.org/api_docs/python/tf/keras/losses/SquaredHinge

[33] https://www.tensorflow.org/api_docs/python/tf/keras/losses/squared_hinge

[34] https://pytorch.org/docs/stable/generated/torch.nn.HingeEmbeddingLoss.html

[35] https://www.tensorflow.org/api_docs/python/tf/keras/losses/CosineSimilarity

[36] https://www.tensorflow.org/api_docs/python/tf/keras/losses/cosine_similarity

[37] https://pytorch.org/docs/stable/generated/torch.nn.CosineEmbeddingLoss.html

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

猜您喜欢：

附下载 | 《Python进阶》中文版

附下载 | 经典《Think Python》中文版

附下载 | 《Pytorch模型训练实用教程》

附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！

附下载 |《计算机视觉中的数学方法》分享

机器学习与AI生成创作
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Tensorflow中的损失函数loss汇总
qionggaobi9328的博客
08-11 6264
回归和分类是监督学习中的两个大类。自学过程中，阅读别人代码时经常看到不同种类的损失函数，到底 Tensorflow 中有多少自带的损失函数呢，什么情况下使用什么样的损失函数？这次就来汇总介绍一下。 一、处理回归问题 1.tf.losses.mean_squared_error：均方根误差（MSE） —— 回归问题中最常用的损失函数 优点是便于梯度下降，误差大时下降快，误差小时下降慢，有利于函数收敛...
tf 损失函数_损失函数理解汇总，结合PyTorch和TensorFlow2
weixin_35677144的博客
01-05 762
说明：讲解时会对相关文章资料进行思想、结构、优缺点，内容进行提炼和记录，相关引用会标明出处，引用之处如有侵权，烦请告知删除。转载请注明：DengBoCong本文打算讨论在深度学习中常用的十余种损失函数（含变种），结合PyTorch和TensorFlow2对其概念、公式及用途进行阐述，希望能达到看过的伙伴对各种损失函数有个大致的了解以及使用。本文对原理只是浅尝辄止，不进行深挖，感兴趣的伙伴可以针对每...
tf.keras.losses.Huber 损失函数 示例
weixin_44493841的博客
11-24 2833
Huber损失，平滑的平均绝对误差 Huber损失对数据中的异常点没有平方误差损失那么敏感。 本质上，Huber损失是绝对误差，只是在误差很小时，就变为平方误差。误差降到多小时变为二次误差由超参数δ（delta）来控制。当Huber损失在[0-δ,0+δ]之间时，等价为MSE，而在[-∞,δ]和[δ,+∞]时为MAE。 loss = 0.5 * x^2 if |x| <= d loss = 0.5 * d^2 + d * (|x| - d) if |x| >
选择深度学习框架：TensorFlow 2 vs PyTorch
qlkaicx的博客
05-05 1149
TensorFlow，由Google开发，是市场上最流行的深度学习框架之一。自从推出TensorFlow 2之后，它通过整合了Keras作为其高级API，显著提高了用户体验和易用性。PyTorch由Facebook的AI研究团队开发，它以其直观的API和强大的动态图计算功能而闻名，这使得实验和原型开发非常灵活。
tf.keras.losses.CategoricalCrossentropy函数
weixin_49346755的博客
05-01 6078
函数原型 tf.keras.losses.CategoricalCrossentropy( from_logits=False, label_smoothing=0.0, axis=-1, reduction=losses_utils.ReductionV2.AUTO, name='categorical_crossentropy' ) 函数说明 CategoricalCrossentropy函数用于计算多分类问题的交叉熵。使用的公式如下： 参数from_logt
深度学习常用损失MSE、RMSE、MAE和MAPE
热门推荐
weixin_48018951的博客
03-17 2万+
三种常见损失总结，MSE、RSME、MAE
tf.keras.losses详解
LeeG_IOT的博客
08-22 7538
tf.keras.losses实例是用来计算真实标签（ y_true ）和预测标签之间（ y_pred ）的loss损失。 参数：from_logits：是否将 y_pred 解释为 logit 值的张量。 默认情况下，假设 y_pred 包含概率（即 [0, 1] 中的值）。即默认情况下from_logits的值为False 解释一下logit值的含义：逻辑回归一般将因变量二分类变量的0-1转变为频率[0,1]，变成odds（优势比，[0,+∞]），然后log一下成为Logit值([-∞,+∞])，简
yolo开发人工智能小程序经验和总结.zip
最新发布
06-20
对于YOLO开发来说，可能会介绍如何配置环境，如安装必要的库和依赖（如TensorFlow或PyTorch）、设置CUDA和cuDNN以利用GPU加速、以及数据集的准备和预处理等。此外，`README.md`也可能包含训练模型的具体步骤、超参数...
tensorboard-aggregator:将多个张量板运行汇总到新的摘要或CSV文件
05-15
通过任何numpy函数进行汇总（默认值：最大值，最小值，平均值，中位数，标准差，变量） 允许任意数量的子路径结构 保持步骤编号 节省每一步的平均挂墙时间 设置和运行配置 将存储库文件下载或克隆到您的计算机 ...
编程资料-汇总_编程资料汇总_
10-01
10. **人工智能与大数据**：机器学习、深度学习、数据分析和大数据处理的相关技术，如TensorFlow、PyTorch、Spark等。 这个“编程资料-汇总.pdf”很可能是上述一个或多个领域的综合，提供了深入的学习路径和实例。...
学习Python过程中的知识汇总
06-15
在Python中，还有几个著名的第三方库，如requests库用于HTTP请求，BeautifulSoup和Scrapy用于网页抓取，TensorFlow和PyTorch用于深度学习，Django和Flask是常用的Web框架。 最后，Python的社区和生态系统是其持续...
基于深度学习的开源中文事件抽取算法汇总.zip
02-18
在Python环境中，DeepEE可能使用TensorFlow或PyTorch框架实现，并结合NLP库，如spaCy、NLTK和HanLP，以实现完整的事件抽取流程。开发者可以通过阅读项目文档，理解代码结构，甚至根据需求修改和扩展模型。 总之，...
Tensorflow 中的损失函数 —— loss 专题汇总
WitsMakeMen的专栏
01-24 2486
标准的损失函数并不合适所有场景，有些实际的背景需要采用自己构造的损失函数，Tensorflow 也提供了丰富的基础函数供自行构建。例如下面的例子：当预测值（y_pred）比真实值（y_true）大时，使用 (y_pred-y_true)*loss_more 作为 loss，反之，使用 (y_true-y_pred)*loss_lesstf.greater(x, y)：判断 x 是否大于 y，当维度不一致时广播后比较。
深度学习损失函数（含公式和代码）
New___dream的博客
12-14 1326
深度学习，机器学习，损失函数，loss
tensorflow中同时两个损失函数_Tensorflow中的损失函数
weixin_39617006的博客
12-19 1064
3. Tensorflow中的损失函数3.1 简介损失函数(loss function、cost function)是神经网络搭建之后需要首先考虑的。因为在训练网络，即反向传播过程中，需要有一个监督信号去更新参数。最常用的损失函数有交叉熵(cross_entropy)和均方误差(MSE，mean squared error)。3.2 loss函数均方误差(MSE，mean squared erro...
tf.keras.losses.KLDivergence KL散度 损失函数 示例
weixin_44493841的博客
11-24 2215
KL 散度 loss=正确值×log(正确值预测值)loss = 正确值 \times log(\frac{正确值}{预测值})loss=正确值×log(预测值正确值​) import tensorflow as tf y_true = [[0, 1], [0, 0]] y_pred = [[0.6, 0.4], [0.4, 0.6]] # Using 'auto'/'sum_over_batch_size' reduction type. kl = tf.keras.losses.KLDivergenc
基于tensorflow的深层神经网络(二)tensorflow中的损失函数
weixin_36670529的博客
12-10 1282
1、经典损失函数： 分类问题和回归问题是监督学习的两大种类。这一节将分别介绍分类问题和回归问题中使用到的经典损失函数。分类问题希望解决的将不同的样本分到事先定义好的类别中。 通过神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样例，神经网络可以得到的一个n为数组作为输出结果。数组中的每一个维度(也就是每一个输出节点)对应一个类别。在理想情况下，如果一个样本属...
tensorflow实现多分类任务时的lossFunction选择建议
weixin_43857581的博客
03-20 198
利用TensorFlow实现多分类任务（如手写数字识别）时，最后一层神经网路不建议直接使用softmax作为激活函数，为了使数值精度更高，建议使用linear函数作为激活函数，并且lossfunction使用SparseCategoricalCrossentropy时设置from_logits=True.
在jsp中 out.print() out.write()的区别
✈ 正在努力 の 寒江（StudiousTiger) ✌ 呐 ✈
10-20 701
众所周知，在jsp中向htm中输出内容的方式常用的有2种 out.print() out.write() 大家有没有考虑过这两个有什么区别，还有在使用中有没有遇到什么问题 今天我给大家介绍一下： 首先是介绍一下out.print() 在out.print() 中是可以输出任何类型的数据的 其次是 out.write() 不知道你们有没有遇到过使用 out.write()输出int型的数据，他不是不能输出，而是输出的东西和所输入的int型数据不匹配 这是什么原因导致的内，如果你感兴趣可以看一下这两个的底层源代
pytorch和tensorflow冲突吗
07-25
回答: 在安装和使用Pytorch和Tensorflow时，可能会遇到一些版本冲突的问题，但并不是说Pytorch和Tensorflow本身会冲突。引用\[1\]中提到了一些安装和配置的步骤，包括确定版本、安装相关软件包、卸载冲突的库、安装对应版本的CUDA和cuDNN等。通过正确的安装和配置，可以避免Pytorch和Tensorflow之间的冲突。此外，引用\[2\]中也提到了一些版本对应的建议，可以参考这些建议来选择合适的版本。总之，只要按照正确的步骤和版本要求进行安装和配置，Pytorch和Tensorflow是可以同时使用的。 #### 引用[.reference_title] - *1* *2* [同时安装 Tensorflow&Pytorch](https://blog.csdn.net/holly_poppy_/article/details/123092930)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [同时安装pytorch和TensorFlow等多种深度学习开发环境（1）](https://blog.csdn.net/m0_52571323/article/details/112078473)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值