一个不知道的公知 logX=lnX，损失函数

1、自然对数是以常数e为底数的对数，记作lnN（N>0）。

在物理学，生物学等自然科学中有重要的意义，一般表示方法为lnx。

数学中也常见以logx表示自然对数。

所以说，在一些损失函数是这样的

2、损失函数是在模型的训练阶段描述预测值和真实值之间 差距的函数，用L表示。

损失函数也叫代价函数(Cost Func— tion)，通过损失函数迭代、优化模型的分类效果，L的值越大 表示分类效果越差，L的值越小表示分类效果越好，对模型来说最好的是损失函数值为零。

3、根据基础数学公式，常用的损失函数主要包 括六大类，分别是合页损失、逻辑回归损失、交叉熵损失、对数 似然损失、负采样损失和均方误差损失。

合页损失(Hinge Loss)又叫铰链损失，适合于解决二分类问题，是机器学习中常用的损失函数之一。

逻辑回归损失(Logistic Loss)也叫对数损失，适用于逻 辑回归模型。

交叉熵损失(Cross Entropy Loss)是基于概率分布度量 的损失函数，用于评估当前训练得到的概率分布与真实分布 的差异情况。差异越小，损失就越小，两个概率分布就越相 似。

似然函数(Likelihood Function)是一种根据观测结果估 计模型中参数的函数，一般是指数类型函数。为了在不影响 单调性的情况下便于计算，就把它取了对数，称为对数似然函 数(Log Likelihood Loss)。

参见：知识图谱嵌入模型中的损失函数研究综述

[期刊论文全文] 申秋慧 , 张宏军 , 徐有为 , 王航 , 程恺 , SHEN Qiuhui , ZHANG Hongjun , XU Youwei , WANG Hang , CHENG Kai - 《计算机科学》

4、交叉熵损失（Cross-entropy loss）是深度学习中常用的一种损失函数，通常用于分类问题。它衡量了模型预测结果与实际结果之间的差距，是优化模型参数的关键指标之一。

假设我们有一个分类问题，需要将输入数据x分为C个不同的类别。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。我们的目标是使得y^​尽可能接近真实的标签y的概率分布。

假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。那么，我们可以使用交叉熵损失来衡量模型预测结果和真实标签之间的差距。交叉熵损失的公式如下： 

                                                         L(x,y)=−∑Ci=1xilogyi
其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。

交叉熵损失的本质是衡量两个概率分布之间的距离。其中一个概率分布是真实标签y的分布，另一个是模型预测的概率分布y^​。对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。当两个概率分布越接近时，交叉熵损失越小，表示模型预测结果越准确。

交叉熵损失是一种凸函数，通常使用梯度下降等优化算法来最小化它。在深度学习中，交叉熵损失是常见的分类损失函数之一，广泛应用于图像分类、语音识别等任务中
————————————————
版权声明：本文为CSDN博主「木子十口儿几丶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_50752408/article/details/129558204