logistic回归算法原理（1）

最新推荐文章于 2024-05-26 19:48:29 发布

萩知叶一

最新推荐文章于 2024-05-26 19:48:29 发布

阅读量975

点赞数 2

分类专栏：机器学习文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/quanju9393/article/details/88933345

版权

1、LR的一般表述

一般的线性回归模型，输出值 $y\in \left ( -\infty ,\infty \right )$ ；对于分类模型来说，y>0表示正例，y<0表示负例。在很多场景中，我们希望输出值y能类似于概率一样介于0~1之间，所以可以通过一个映射函数 $h_{w}\left ( x \right )$ ，将其表示为：

$0<h_{w}\left ( x \right )<1$ ， $h_{w}\left ( x \right )=g\left ( w^{T}\cdot x \right )$

映射函数的选择有很多种，最理想的是“单位阶跃函数”，但是单位阶跃函数不连续（即损失函数不可导），所以不能直接使用。我们希望找到一定程度上近似单位阶跃函数的替代函数，并希望它可单调可微。

对数几率函数是形状近似与S形的函数，是sigmoid函数的一种，它将z值转换为一个接近0或者1的y值，并且其输出值在z=0附近变化很陡。使用对数几率函数时：

$h_{w}\left ( x \right )=\frac{1}{1+e^{-w^{T\cdot x}}}$

直观地理解：

$p\left ( y=1|w,x \right )=h_{w}\left ( x \right )$ 输出y为正例的概率

$p\left ( y=0 |w,x\right )=1-h_{w}\left ( x \right )$ 输出y为负例的概率

2、LR作为二分类的依据

如果了解线性回归的小伙伴都知道，线性回归时假设残差服从正态分布，而这里我们要提到logistic分布。logistic分布为：<

最低0.47元/天解锁文章

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
logistic回归算法原理（1）

1、LR的一般表述一般的线性回归模型，输出值；对于分类模型来说，y>0表示正例，y<0表示负例。在很多场景中，我们希望输出值y能类似于概率一样介于0~1之间，所以可以通过一个映射函数，将其表示为：，映射函数的选择有很多种，最理想的是“单位阶跃函数”，但是单位阶跃函数不连续（即损失函数不可导），所以不能直接使...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。