逻辑回归与线性回归

逻辑回归与线性回归

二者最本质的区别是:逻辑回归解决分类问题,而线性回归解决回归问题。但二者之间又具有联系,可从线性回归转化为逻辑回归。
线性回归表达式为: y = w ∗ x + b y=w*x+b y=wx+b
希望通过该模型做二分类任务,即目标为0,1,但并不可以用线性回归表示P(Y|X)=w*X+b
P(Y|X)条件概率需满足:1)0<=P(Y|X)<=1,2) ∑ y P ( Y ∣ X ) = 1 \sum _{y}P(Y|X)=1 yP(YX)=1
− ∝ < w ∗ x + b < ∝ -\propto <w*x+b<\propto <wx+b<, x ϵ R d x\epsilon R ^{d} xϵRd ,不满足条件概率
logistic function:
y = 1 1 + e − x = δ ( x ) y=\frac{1}{1+e^{-x}}=\delta (x) y=1+ex1=δ(x)
与线性回归联合:
p ( y ∣ x ; w ) = 1 1 + e − ( w T x + b ) = δ ( w T x + b ) p(y|x;w)=\frac{1}{1+e^{-(w^{T}x+b)}}=\delta (w^{T}x+b) p(yx;w)=1+e(wTx+b)1=δ(wTx+b)
对于二分类问题:
p ( y = 1 ∣ x ; w ) = 1 1 + e − ( w T x + b ) p(y=1|x;w)=\frac{1}{1+e^{-(w^{T}x+b)}} p(y=1x;w)=1+e(wTx+b)1
p ( y = 0 ∣ x ; w ) = 1 − p ( y = 1 ∣ x ; w ) = e − ( w T x + b ) 1 + e − ( w T x + b ) p(y=0|x;w)=1-p(y=1|x;w)=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}} p(y=0x;w)=1p(y=1x;w)=1+e(wTx+b)e(wTx+b)
合并为:
p ( y ∣ x ; w ) = p ( y = 1 ∣ x ; w ) y [ 1 − p ( y = 1 ∣ x ; w ) ] 1 − y p(y|x;w)=p(y=1|x;w)^{y}[1-p(y=1|x;w)]^{1-y} p(yx;w)=p(y=1x;w)y[1p(y=1x;w)]1y
Objective Function:
在这里插入图片描述
逻辑回归属于线性分类器
决策边界用于判断是否为线性分类器:
落在边界点的概率相同 ⇒ \Rightarrow p ( y = 1 ∣ x , w ) p ( y = 0 ∣ x , w ) = 1 \frac{p(y=1|x,w)}{p(y=0|x,w)}=1 p(y=0x,w)p(y=1x,w)=1
⇒ \Rightarrow l o g e − ( w T + b ) = l o g 0 loge-(w^{T}+b)=log0 loge(wT+b)=log0
⇒ \Rightarrow − ( w T + b ) = 0 -(w^{T}+b)=0 (wT+b)=0
⇒ \Rightarrow w T + b = 0 w^{T}+b=0 wT+b=0

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值