损失函数
文章平均质量分 70
博客都是给自己看的笔记,如有误导深表抱歉
这个作者很懒,什么都没留下…
展开
-
损失函数——均方误差(Mean Squared Error,MSE)
在使用MSE作为损失函数进行优化时,通常会采用梯度下降等优化算法来最小化MSE的值,从而提高模型的性能。MSE的值越小,说明模型的预测值与真实值之间的差异越小,模型的性能越好。如果需要在训练模型时使用MSE作为损失函数进行优化,可以在训练循环中计算损失,并使用反向传播算法更新模型参数。在PyTorch中,可以使用内置的MSE损失函数来计算均方误差。其中,n是样本数量,xi是第i个样本的真实值,yi是模型对第i个样本的预测值。在上面的代码中,首先创建了真实值和预测值的张量,然后使用PyTorch内置的。原创 2023-03-15 15:46:14 · 16117 阅读 · 2 评论 -
损失函数——交叉熵损失(Cross-entropy loss)
对于每个类别i,yi表示真实标签x属于第i个类别的概率,y^i表示模型预测x属于第i个类别的概率。对于每个输入数据x,我们定义一个C维的向量y^,其中y^i表示x属于第i个类别的概率。假设真实标签y是一个C维的向量,其中只有一个元素为1,其余元素为0,表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布,将目标标签视为类别索引,并计算这些概率与实际标签之间的交叉熵损失。其中,xi表示真实标签的第i个元素,yi表示模型预测x属于第i个类别的概率。清空梯度,计算模型输出和损失,使用。原创 2023-03-15 16:54:14 · 22619 阅读 · 0 评论 -
损失函数——对数损失(Logarithmic Loss,Log Loss)
要在训练中使用对数损失作为损失函数,可以在模型训练的过程中调用 PyTorch 中的损失函数计算方法,并将计算得到的损失加入到反向传播过程中以更新模型参数。在 PyTorch 中,可以使用 nn.BCELoss() 来计算二元分类问题的对数损失,使用 nn.CrossEntropyLoss() 来计算多元分类问题的对数损失。可以看出,当预测的概率接近于实际标签时,对数损失接近于0,而当预测的概率偏离实际标签时,对数损失会增加。需要注意的是,在训练过程中,我们使用的损失函数是 nn.BCELoss()原创 2023-03-15 17:32:29 · 7063 阅读 · 1 评论 -
损失函数——KL散度(Kullback-Leibler Divergence,KL Divergence)
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数,可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中,KL散度常常用于衡量两个概率分布之间的差异程度,例如在生成模型中使用 KL散度作为损失函数的一部分,或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是,KL散度的计算要求 P 和 Q 的元素都为正数,因此需要在计算前对两个概率分布进行归一化处理,使其元素和为 1。原创 2023-03-15 17:45:56 · 13888 阅读 · 1 评论 -
损失函数——Dice Loss损失函数
然而,Dice Loss也有一些缺点。然后计算预测结果和真实结果的重叠部分和并集,根据 Dice Loss 的公式计算 Dice 系数,并将其转换为损失值。与交叉熵损失函数相比,Dice Loss能够更好地处理类别不平衡问题,因为它在计算时将每个像素的权重考虑在内,而不是简单地将像素的数量作为权重。是一种用于图像分割任务的损失函数,它的基本思想是计算预测结果和真实结果的重叠部分,通过最小化两者的差异来优化模型。其中,N是像素总数,pi是模型预测的第i个像素的值,gi是真实标签的第i个像素的值。原创 2023-03-15 18:04:17 · 4822 阅读 · 3 评论 -
损失函数——感知损失(Perceptual Loss)
例如,VGG-19网络中的卷积层可以提取图像的纹理和结构信息,而网络的全连接层可以提取图像的语义信息。感知损失的计算方式通常是将输入图像和目标图像分别通过预训练的神经网络,得到它们在网络中的特征表示。与传统的均方误差损失函数(Mean Square Error,MSE)相比,感知损失更注重图像的感知质量,更符合人眼对图像质量的感受。其中,x 是输入图像,y 是目标图像,Fi(x) 和 Fi(y) 分别表示它们在预训练的神经网络中的第 i 层的特征表示,N 是特征层数。然后我们创建了损失函数。原创 2023-03-15 18:35:16 · 16041 阅读 · 4 评论