Logistic回归算法详细介绍

Logistic回归又称Logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

 

      Logistic回归模型中的因变量只有1-0(如是和否，发生和不发生)两种取值。假设在p个独立自变量x1,x2,...,xp作用下，记y取1的概率是p = P(y=1|X)，取0的概率是1-p，取1和0的概率之比为p/(1-p)，称为事件的优势比(odds)，对odds取自然对数得Logistic变换Logit=In(p/(1-p))。

      令Logit(p)=In(p/(1-p))=z ，则p=1/(1+exp(-z))即为Logistic函数，或者称为Sigmoid函数。如图所示：

 

 

      p是关于z的函数，令g(z)=1/(1+exp(-z))，则

      注意，p是我们要求解的，我们的终极目标，那么z又是关于样本特征的函数，即

构造预测函数为：

      函数表示结果取1的概率，因此对于输入样本x分类结果为类别1和类别0的概率分别为

      两个式子综合起来，则