逻辑回归公式推导

最新推荐文章于 2022-02-25 22:48:10 发布

hshrimp

最新推荐文章于 2022-02-25 22:48:10 发布

阅读量274

点赞数

分类专栏：机器学习文章标签：机器学习逻辑回归

原文链接：https://zhuanlan.zhihu.com/p/36985192

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

这篇博客专注于逻辑回归公式的推导，而非损失函数。逻辑回归利用线性分割面对2分类问题进行处理，并可扩展到多分类。遵循贝叶斯法则，找到样本最可能的类别。通过取对数和线性化，得出分类边界方程，最终得到逻辑回归的sigmoid形式。

摘要由CSDN通过智能技术生成

这两天学习逻辑回归模型，看了很多博客、知乎。很多人虽然标题写着“逻辑回归公式推导”，可是内容明明写的却是“逻辑回归损失函数的推导”，“逻辑回归公式”的推导都是直接给出公式。。。看得我很懵啊。

直到在知乎上找到这个https://zhuanlan.zhihu.com/p/36985192，大佬牛逼。

这里只写逻辑回归公式的推导，不写损失函数的推导，这个推导的偏导数确实很难。

正文：

逻辑回归其实是以某个线性分割面来分割各个类别的，2分类是逻辑回归本质解决的问题，由2分类可以推广到多分类（one vs last）

逻辑回归服从贝叶斯法则，即它对样本的分类是看样本对哪个类别后验概率最大：

$\widehat{G}\left ( x \right )=argmax(P(G=k|X=x))$

其中， P(G=k|X=x) 表示给定x,分类为类别k的概率。

那么对于类别i，j,他们之间的分割面方程为：

P(G=i|X=x)=P(G=j|X=x)

取对数

$\ln P(G=i|X=x)=\ln P(G=j|X=x)$

分割面方程==>

$\ln P(G=i|X=x)/P(G=j|X=x)=0$

由于在逻辑回归中，分割面是线性的，令

$\ln P(G=i|X=x)/P(G=j|X=x)=WX$ （1）

在二分类中，有

1 - P(G=i|X=x) = P(G=j|X=x)

带入（1）中，有

$\ln P(G=i|X=x)/(1-P(G=i|X=x))=WX$

==>

$P_{i}/(1-P_{i})=exp(WX)$

==>

$P_{i}=1/(1+exp(-WX))$

推导完毕。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
逻辑回归公式推导

这两天学习逻辑回归模型，看了很多博客、知乎。很多人虽然标题写着“逻辑回归公式推导”，可是内容明明写的却是“逻辑回归损失函数的推导”，“逻辑回归公式”的推导都是直接给出公式。。。看得我很懵啊。直到在知乎上找到这个https://zhuanlan.zhihu.com/p/36985192，大佬牛逼。这里只写逻辑回归公式的推导，不写损失函数的推导，这个推导的偏导数却是很难。正文：逻辑回归其实是以某个线性分割面来分割各个类别的，2分类是逻辑回归本质解决的问题，由2分类可以推广到多分类（one vs
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。