线性回归和逻辑回归损失函数的区别

最新推荐文章于 2024-05-18 10:09:44 发布

tianguiyuyu

最新推荐文章于 2024-05-18 10:09:44 发布

阅读量3.3k

点赞数 1

分类专栏： python与机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/tianguiyuyu/article/details/79644347

版权

本文探讨了线性回归的平方差损失函数是凸函数，而逻辑回归的交叉熵损失函数不是凸函数的原因。逻辑回归中，由于sigmoid函数的存在，导致平方损失函数可能非凸，其二阶导数可能小于0。

摘要由CSDN通过智能技术生成

首先说什么是凸函数。对区间[a,b]上定义的函数f，若它对区间中任意两点x1和x2，均有f((x1+x2)/2)<=(f(x1)+f(x2))/2，则称f为区间[a,b]上的凸函数。对实数集上的函数，可通过求二阶导数来判别。若二阶导数在区间上非负，则称为凸函数，若二阶导数恒大于0，则称为严格凸函数。
线性回归模型中的损失函数为平方差损失函数，其是凸函数
逻辑回归中，损失函数为交叉熵损失函数，因为对于逻辑回归来说，若是用平方差损失函数，其不能保证是凸函数，因为逻辑回归中存在sigmoid函数。证明如下：

已知 $h(x)=\frac{1}{1+e^{-x}}$

$h'(x)=\frac{e^{-x}}{(1+e^{-x})^{2}} = h(x)(1-h(x))$

线性函数 $f(x) = x\theta+b$

平方损失函数为

最低0.47元/天解锁文章

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
线性回归和逻辑回归损失函数的区别

首先说什么是凸函数。对区间[a,b]上定义的函数f，若它对区间中任意两点x1和x2，均有f((x1+x2)/2)&lt;=(f(x1)+f(x2))/2，则称f为区间[a,b]上的凸函数。对实数集上的函数，可通过求二阶导数来判别。若二阶导数在区间上非负，则称为凸函数，若二阶导数恒大于0，则称为严格凸函数。线性回归模型中的损失函数为平方差损失函数，其是凸函数逻辑回归中，损失函数为交叉熵损失函数，因为...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。