《统计学习方法》中关于多元逻辑回归公式推导,写的比较简单,正好前几天有同事对此比较疑惑,因此,在此进行详细推导,有助于大家共同学习。
首先,关于逻辑回归中二分类问题:
P ( Y = 1 ∣ x , ω ) = e x p ( ω ⋅ x + b ) 1 + e x p ( ω ⋅ x + b ) P(Y=1|x,\omega)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)} P(Y=1∣x,ω)=1+exp(ω⋅x+b)exp(ω⋅x+b)
P ( Y = 0 ∣ x , ω ) = 1 1 + e x p ( ω ⋅ x + b ) P(Y=0|x,\omega)=\frac{1}{1+exp(\omega \cdot x+b)} P(Y=0∣x,ω)=1+exp(ω⋅x+b)1
事件发生对数几率定义如下:
l o g P ( Y = 1 ∣ x , ω ) 1 − P ( Y = 0 ∣ x , ω ) = ω ⋅ x log \frac{P(Y=1|x,\omega)}{1-P(Y=0|x,\omega)}=\omega\cdot x log1−P(Y=0∣x,ω)P(Y=1∣x,ω