logistic和softmax原理、联系

转自：http://blog.csdn.net/zhangliyao22/article/details/48379291

logistic原文：http://blog.csdn.NET/ariessurfer/article/details/41310525

softmax原文：http://blog.csdn.net/pi9nc/article/details/19336629

 

Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多

变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是

否患有某种病。

 

在讲解Logistic回归理论之前，我们先从LR分类器说起。LR分类器，即Logistic Regression Classifier。

在分类情形下，经过学习后的LR分类器是一组权值，当测试样本的数据输入时，这组权值与测试数据按

照线性加和得到

 

           

 

这里是每个样本的个特征。

之后按照sigmoid函数的形式求出

 

           

 

由于sigmoid函数的定义域为，值域为，因此最基本的LR分类器适合对两类目标进行分类。

所以Logistic回归最关键的问题就是研究如何求得这组权值。这个问题是用极大似然估计来做的。

 

 

下面正式地来讲Logistic回归模型。

 

考虑具有个独立变量的向量，设条件慨率为根据观测量相对于某事件发生的

概率。那么Logistic回归模型可以表示为

 

           

这里称为Logistic函数。其中

 

那么在条件下不发生的概率为

 

           

 

所以事件发生与不发生的概率之比为

 

           

 

这个比值称为事件的发生比（the odds of experiencing an event），简记为odds。

 

对odds取对数得到