逻辑回归原理与算法推导式

逻辑回归

概述
logistic回归是一种广义线性回归(generalized linear model)，因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w’x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w’x+b作为因变量，即y =w’x+b，而logistic回归则通过函数L将w’x+b对应一个隐状态p，p =L(w’x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。
w被统称为模型的参数，其中 被称为截距(intercept)， w1~wn 被称为系数(coefficient)，这个表达式，其实就和我们学时就是无比熟悉 y=ax+b 是同样的性质。我们可以使用矩阵来表示这个方程，其中x和w 都可以被看做是个列矩阵，则有：