Why and Why not?
Error term有多种解释,可以从不同的角度说明为什么逻辑斯蒂回归中没有error term.
1. 概率分布的角度, 表达式上不存在
E[y|x]=p(y=1|x)=wx+b+error ???
在线性回归预测问题中,
y = w T x + b y=w^Tx+b y=wTx+b
for true: y = w T x + b + ϵ y=w^Tx+b+\epsilon y=wTx+b+ϵ
↓ \downarrow ↓
for prediction: y ^ = w T x + b \hat{y}=w^Tx+b y^=wTx+b
在逻辑斯蒂二元分类的问题中,
p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) p(y=1|x)=sigmoid(w^Tx+b) p(y=1∣x)=sigmoid(wTx+b)
类比地:
for true: p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) + ϵ p(y=1|x)=sigmoid(w^Tx+b)+\epsilon p(y=1∣x)=sigmoid(wTx+b)+ϵ
for prediction: p ^ ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) \hat{p}(y=1|x)=sigmoid(w^Tx+b) p^(y=1∣x)=sigmoid(wTx+b)
注意到:
E ( y ∣ x ) = 1 ∗ p ( y = 1 ∣ x ) + 0 ∗ p ( y = 0 ∣ x ) = p ( y = 1 ∣ x ) E(y|x)=1*p(y=1|x)+0*p(y=0|x)=p(y=1|x) E(y∣x)=1∗p(y=1∣x)+0∗p(y=0∣x)=p(y=1∣x)
p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) + ϵ ↓ E ( y ∣ x ) = s i g