广义线性模型之logistic regression（二）

注：本文若没特殊声明，所有截图均来自cs229 Machine Learning Lecture notes 1

Logistic regression的hypotheses为

 

其中

被称为logistic function或者sigmoid function。

由于 sigmoid 函数的输出介于0~1之间，因此我们可以把它看成概率。令
 

则p(y|X;theta)的概率可写成

则有log likelihood
 
对求和符号内的式子求导得
 
我们发现，最终得到的参数更新公式与linear regression的是一样的：
 
从后续可知这并不是一个巧合。不过先来看看另一种求解方法，牛顿迭代法(Newton’s method)。

牛顿迭代法(Newton’s method)

我们知道，要求f(theta)=0,我们可以使用牛顿迭代法如下更新theta：

 
下图能给出一个形象的例子：
 
类似地，若要求f’(theta)=0，可以使用
 
扩展到多维的情况，即对应

 

利用该式子求解模型的方法也叫，Newton-Raphson method。其中

定义的矩阵被称为海森矩阵（Hessian matrix）。具体地对于上述似然函数，
 from [3]
可以证明上述的海森矩阵是半负定的（negative semi-definite），即
from [3]

因此，logistic不存在局部最优解，所以可以使用Newton’s method，此时该算法有个专有的名字——IRLS。

过程如下（与上面稍微不同），令

from [2]

可以得到
 from [2]
其中π = sigmoid（X）。令
 from [2]
根据牛顿迭代法，有如下更新公式：
 from [2]

对应的python代码如下：

from [2]

 

参考文献：

[1] cs229 Machine Learning Lecture notes 1: "Supervised Learning, Discriminative Algorithms"

[2] CPSC 540: Logistic regression, IRLS and importance sampling

[3] cs229  problem set 1