二分类逻辑回归:
假设样本x,预测值 y∈{1,0} 。
p(Y=1|x)=exp(wx+b)1+exp(wx+b)=π(x)
p(Y=0|x)=11+exp(wx+b)=1−π(x)
损失函数:
L=∏i=1Np(Yi=1|x)yip(Yi=0|x)1−yi=∏i=1Nπ(x)yi(1−π(x)1−yi
对数似然函数:
ℓ=logL=∑i=1Nyilogπ(x)+(1−yi)log(1−π(x))=∑i=1Nyi(wx+b−log(1+exp(wx+b)))+(1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)+(yi+1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)−log(1+exp(wx+b))
对对数似然函数关于w求导
∂ℓ∂wk=∑i=1Nyixki−exp(wx+b)xki1+exp(wx+b)=∑i=1N(yi−(1−11+exp(wx+b)))xki=∑i=N(yi−π(xi))xki
令上式为0,得到
∑i=1N(yi−1+11+exp(wx+b))xki=0
即
∑i=1N(1−yi)xki=∑i=1N(11+exp(wx+b))xki
到这里,我们应该就可以看到逻辑斯蒂回归是没有解析解的。
参考:
1.http://blog.csdn.net/zouxy09/article/details/20319673
2.http://bigbear2017.github.io/logistic-regression/
Written with StackEdit.