logistic loss公式的由来 xgboost 雪伦的推导中使用了该公式

最新推荐文章于 2024-01-09 11:59:25 发布
最新推荐文章于 2024-01-09 11:59:25 发布
阅读量211 收藏
点赞数
分类专栏： 大数据
原文链接：https://blog.csdn.net/fengdu78/article/details/113904375?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCo
版权

公式如下

 

 

摘录片段如下

假设是另外一个hypothesis function，且，把带入式可以得到

显然式和式是等价的，即

式的Loss形式叫作针对的Logistic Loss，也就是说针对的二进制交叉熵损失等价于针对的Logistic损失，而实际上是通过Logistic function的映射，即

也就是说不论这个hypothesis function是什么形式，针对使用Logistic Loss就可以用于二分类问题，因为针对使用Logistic Loss就等价于针对使用二进制交叉熵损失。

 

https://blog.csdn.net/fengdu78/article/details/113904375?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control

火星种萝卜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LogLoss的公式演化
Mr0cheng的专栏
01-08 1万+
LogLoss一般应用于logistic regression[logit regression,logit model]，而logistic regression模型的因变量是categorical，比如二分类的0和1。多分类的模型就是mutinomial logistic regression。在logistic regression里面有一个logistic function(注意区分logi
Logistic回归在医学中应用.pdf
11-16
Logistic回归在医学中应用.pdf
Logistic的损失函数的推导.
akon_wong_hkbu的博客
08-30 2390
logistic回归损失
qq_42578970的博客
01-17 1095
简称log loss，又称交叉熵损失（cross-entropy loss） 设某个样本真实标签只能取0或1，系统得到它取1的概率为p，取0的概率为1-p，而y的实际取值就是y 则公式为 例如，一个样本实际为1，算出来p=0.9，则logloss=-log(0.9)=log(10/9) 再比如，一个样本实际为0，系统计算出的p=0.6，则logloss=-(1-0)log(1-0.6)=-log(0.4)=log(5/2) 因为p处于0到1的闭区间，y只能为1或0，所以这个数越小越好。把一个模型计
Logistic Loss函数
热门推荐
buracag_mc的博客
04-26 1万+
同步于音尘杂记 前面在浏览sklearn中关于Logistic Regression部分，看到关于带正则项的LR目标损失函数的定义形式的时候，对具体表达式有点困惑，后查阅资料，将思路整理如下： 文章目录1. sklearn文档中的LR损失函数2. LR损失函数2.1 logistic基础知识2.2 旧思路2.3 新思路3. 思考 1. sklearn文档中的LR损失函数 先看sklearn对于LR...
【机器学习基础】深入理解Logistic Loss与回归树
fengdu78的博客
02-20 2525
Logistic FunctionLogistic Function最常见的定义形式如下：其中，，实际上这个公式起源于伯努利分布，代表概率，关于其起源在此暂不赘述。公式有一个重要的性质，即...
logistic回归推导
07-14
logistic回归，不再一头雾水
Logit.zip_logistic 回归_logistic分析_logistic回归_logit matlab_matlab中
07-15
在标题和描述中提到的"Logit.zip_logistic 回归_logistic分析_logistic回归_logit matlab_matlab中"，显然讨论的是在MATLAB环境中进行的Logistic回归分析。 MATLAB是一种强大的编程环境，特别适合数值计算和数据...
机器学习入门 — 根据推导公式使用Python实现梯度下降与逻辑回归
12-21
在机器学习领域，逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其适用于二分类问题。它虽然名字中含有“回归”二字，但实际上是一种监督学习的分类方法。逻辑回归通过一个非线性的sigmoid函数将线性...
xgboost使用教程
12-13
- 缺失值处理：可以使用平均值、中位数填充，或使用 XGBoost 内置的处理方式。 - 类别变量编码：将类别变量转换为数值，常用的方法有独热编码（One-Hot Encoding）或序数编码。 - 特征缩放：虽然 XGBoost 对特征尺度...
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|x)=\Phi(x) p(y=1∣x)=Φ(x) 那么y=0的时候自然是补事件 p(y=0∣x)=1−Φ(x) p(y=0|x)=1-\Phi(x) p(y=0∣x)=1−Φ(x) 我们可以把这两个式子简化一下,得到 p(y∣x)=Φ(x)y(1−Φ(x))1−y p(y|x)=\Phi(x)^y(1-\P
Logistic Loss的简单讨论
weixin_30315723的博客
05-12 324
首先应该知道Logistic Loss和Crossing Entropy Loss本质上是一回事。 所以所谓的SoftMaxLoss就是一般二分类LogisitcLoss的推广。之所以在网络中采取这种损失，而不是均方误差的原因是LogisticLoss更易于求导：采用交叉熵做损失要比均方误差更合理。详细解释见：https://zhuanlan.zhihu.com/p/61944055。 也...
【深度学习每日小知识】Logistic Loss 逻辑回归
最新发布
欢迎来到最优秀的博客
01-09 1044
假设您为每个示例分配一个唯一 ID，并将每个 ID 映射到其自己的特征。这是因为模型会尝试在所有样本上将损失降低为零，并且永远无法实现，从而将每个指示器特征的权重提高至 +无穷大或-无穷大。当有大量罕见的交叉时，仅在一个样本上发生，就会出现包含特征组合的高维度数据。这是对逻辑回归中对数损失函数的可视化。图中展示了两条曲线：一条表示当预测值接近实际值时的损失，另一条表示当预测值远离实际值时的损失。如果不进行正则化，高逻辑维度下的逻辑回归的渐近性会不断促使损失接近 0。线性回归的损失函数是平方损失。
学习笔记: 源码 multinomial_logistic_loss_layer.cpp 略晓
smallplum123的博客
05-16 2193
MultinomialLogisticLossLayer 对数损失函数： L = -log(P(Y|X)) softmax 的损失函数如下： 在处理分类问题的时候，当前一层输出了每一类的概率，那么则可以利用 MultinomialLogisticLossLayer 来计算 loss。 1. forward() template void Multinomia
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss
clover_my的博客
07-19 7167
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss 在分类算法中，损失函数通常可以表示成损失项和正则项的和，损失项的表达方式有如下等： 1、Log loss 其中 N 是输入的样本数或者实例的数量，i 是某一个样本或者实例；M 表示样本...
Logistic Regression与Logistic Loss
qq_41917697的博客
01-17 850
Logistic Regression与Logistic Loss前言Logistic RegressionLogistic LossLogistic Loss与Cross Entropy Loss 前言 神经网络的输出通常为Z=wTx+b，为了后续分类，需要将编码Z转换为概率。因此需要满足两个条件：一是概率应该为0-1，二是分类的概率总和为1。 Logistic Regression Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，Logistic函数（或称为
Multinomial Logistic Loss and Cross Entropy Loss are the same
CNV_2305
05-20 2838
Multinomial Logistic Loss and Cross Entropy Loss are the same
目标检测之Loss：Logistic逻辑回归loss
BigCowPeking
06-09 3896
数学公式推导_损失函数_Loss
weixin_45808526的博客
08-01 221
数学公式推导_损失函数_LossMean Squared Error(MSE) Mean Squared Error(MSE) loss=Σ[y−fθ(x)]2 loss=\varSigma \left[ y-f_{\theta}\left( x \right) \right] ^2 loss=Σ[y−fθ​(x)]2 梯度为 ∇loss∇θ=2Σ[y−fθ(x)]∗∇fθ(x)∇θ \frac{\nabla loss}{\nabla \theta}=2\varSigma \left[ y-f_{\thet
logistic回归模型、XGboost、卷积神经网络对比
05-23
Logistic回归模型、XGBoost和卷积神经网络是三种不同的机器学习算法，它们各自有其优缺点和适用场景。 Logistic回归模型是一种广泛应用于分类问题的线性模型，对于二分类问题具有较好的表现。它的优点是模型简单、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值