logistic regression& multinomial logistic

Sigmoid function：

ϕ(z)=11+e−z

确定模型参数，引入代价函数（目标函数），效法线性拟合使用误差平方和：

J(w)=∑i12(ϕ(z(i))−y(i))2

将ϕ(z(i))=11+e−z(

但函数有许多局部最小值，不利于求解。

故采取似然函数，对于每个y，模型估计正确的概率为：

p(y|x;w)=ϕ(z)y(1−ϕ(z))(1−y)

似然函数为L(w)=∏ni=1p(y(i)|x(i);w)=∏ni=1(ϕ(z(i)))y(i)(1−ϕ(z(i)))1−y(i)

取log，再加负号，就成了求满足其达到最小值的参数。

接着利用梯度下降法求参数。

逻辑回归能帮助我们解决的，是因变量有且只有两种类别的问题，比如我们之前例子里，一场选举中选民投票给两位候选人中的哪一位。通过逻辑回归，我们可以研究各种自变量与我们关心的二分类因变量之间的相关关系，而这些自变量既可以是二分类的（如性别），也可以是多分类的（如职业），还可以是连续的（如收入、教育程度）。但是，同样也有很多其他我们关心的事情，其结果不一定只有两种情况。比方说，你辗转反侧地琢磨你暗恋多时的女神究竟对你有没有意思，可别傻乎乎地掰起花瓣儿「她爱我、她不爱我、她爱我……」了！谁知道除了这两种情况以外，是不是还有「想和你暧昧」「想拿你当备胎」「想培养你当男闺蜜」之类的其他可能性呢？

多分类变量可以进一步分成两种：名义变量（nominal variable）和定序变量（ordinal variable）。名义变量的不同分类是没有顺序可言的，比如说基因型、疾病的分型等；而有定序变量的不同分类则有逻辑上的顺序，比如客户满意度调查中的选项「非常不满意」「不满意」「一般」「满意」「非常满意」。

这个模型描绘的是因变量取两个类别的概率的比值。因此，对于逻辑回归来说，回归系数βi描述了当其他自变量都保持不变，而自变量增加时，因变量在类别1和2之间的「倾向性」的变化。更具体地说，如果βi是正数，则xi越大，因变量更可能取类别1；如果βi是负数，则xi越大，因变量更可能取类别2。

若有多个类别，则选定一个类别固定做分母（比如说类别，称其为「参考类别」），然后让剩下的类别轮流做分子。推广到一般情形，如果因变量有k种分类，那么我们需要对k-1个比例关系进行建模。

参考：

https://blog.csdn.net/zjuPeco/article/details/77165974

http://www.sohu.com/a/211933213_349736

http://www.sohu.com/a/214882207_349736