关闭

牛顿法解机器学习中的Logistic回归

标签: 机器学习Logistic回归牛顿法Hessian矩阵
6210人阅读 评论(6) 收藏 举报
分类:

引言

这仍然是近期系列文章中的一篇。在这一个系列中,我打算把机器学习中的Logistic回归从原理到应用详细串起来。最初我们介绍了在Python中利用Scikit-Learn来建立Logistic回归分类器的方法

此后,我们对上述文章进行了更深一层的探讨,介绍了利用Logistic回归在自然语言处理中的应用(对微博进行Sentiment Analysis)

从应用角度介绍了Logistic回归之后,我们又从源头介绍了Logistic回归的数学原理

在这篇文章的最后,我们得到了一个似然函数为

L(w)=i=1m[π(xi)]yi[1π(xi)]1yi

然后我们的目标是求出使这一似然函数值最大的参数估计,于是对函数取对数,再求一阶偏导数得到
lnL(w)wk=i=1mxik[yiπ(xi)]

从这个偏导数出发,在实际中有很多方法可以解决前面的似然函数最大化参数估计问题,而我们这里要介绍的就是其中非常重要的一种,即牛顿法和拟牛顿法。


牛顿迭代法解方程的简单回顾

现代计算中涉及大量的工程计算问题,这些计算问题往往很少采用我们通常在求解计算题甚至是考试时所采用的方法,因为计算机最擅长的无非就是“重复执行大量的简单任务”,所以数值计算方面的迭代法在计算机时代便有了很大的作用。例如我们之前介绍过的利用“Jacobi迭代法与Gauss-Seidel迭代法”求解方程组的方法。另外一个例子则是利用牛顿迭代法近似求解方程的方法。牛顿迭代又称为牛顿-拉夫逊(拉弗森)方法(Newton-Raphson method)。如果读者对这部分内容感兴趣,可以详细参阅

我们在此做简要回顾。有时候某些方程的求根公式可能很复杂(甚至有些方程可能没有求根公式),导致求解困难。这时便可利用牛顿法进行迭代求解。

假设我们要求解方程f(x)=0的根,首先随便找一个初始值x0,如果x0不是解,做一个经过(x0,f(x0)) 这个点的切线,与x轴的交点为x1。同样的道理,如果x1不是解,做一个经过(x1,f(x1))这个点的切线,与x轴的交点为x2。 以此类推。以这样的方式得到的xi会无限趋近于 f(x)=0 的解。

判断xi是否是f(x)=0的解有两种方法:一是直接计算f(xi)的值判断是否为0,二是判断前后两个解xixi1是否无限接近。经过(xi,f(xi))这个点的切线方程为(注意这也是一元函数的一阶泰勒展式)

f(x)=f(xi)+f(xi)(xxi)
其中,f(x)f(x)的导数。令切线方程等于 0,即可求出
xi+1=xif(xi)f(xi)

于是乎我们就得到了一个迭代公式,而且它必然在 f(x)=0处收敛,其中x就是方程的根,由此便可对方程进行迭代求根。


牛顿法在最优化问题中的应用

假设当前任务是优化一个目标函数 f,也就是求该函数的极大值或极小值问题,可以转化为求解函数 f 的导数 f=0 的问题,这样求可以把优化问题看成方程 f=0 求解问题。剩下的问题就和前面提到的牛顿迭代法求解很相似了。

这次为了求解方程 f=0 的根,把原函数 f(x) 的做泰勒展开,展开到二阶形式(注意之前是一阶):

f(x+Δx)=f(x)+f(x)Δx+12f′′(x)Δx2

当且仅当 Δx 无线趋近于0时,(可以舍得后面的无穷小项)使得等式成立。此时上式等价与:
f(x)+12f′′(x)Δx=0

注意因为Δx 无线趋近于0,前面的的常数 1/2 将不再起作用,可以将其一并忽略,即
f(x)+f′′(x)Δx=0

求解
Δx=f(x)f′′(x)

得出迭代公式
xn+1=xnf(x)f′′(x),n=0,1,

在之前的文章中我们也提到最优化问题除了用牛顿法来解之外,还可以用梯度下降法来解。但是通常来说,牛顿法可以利用到曲线本身的信息,比梯度下降法更容易收敛,即迭代更少次数。

再次联系到我们之前给出的一篇文章“Hessian矩阵与多元函数极值”,对于一个多维向量 X, 以及在点 X0 的邻域内有连续二阶偏导数的多元函数 f(X) ,可以写出该函数在点 X0 处的(二阶)泰勒展开式

f(X)=f(X0)+(XX0)Tf(X0)+12(XX0)THf(X0)(XX0)+o(XX02)

其中,o(XX02) 是高阶无穷小表示的皮亚诺余项。而 Hf(X0) 是一个Hessian矩阵。依据之前的思路,忽略掉无穷小项,写出迭代公式即为
Xn+1=Xnf(Xn)Hf(Xn),n0

由此,高维情况依然可以用牛顿迭代求解,但是问题是Hessian矩阵引入的复杂性,使得牛顿迭代求解的难度大大增加。所以人们又提出了所谓的拟牛顿法(Quasi-Newton method),不再直接计算Hessian矩阵,而是每一步的时候使用梯度向量更新Hessian矩阵的近似。这一点我们后续还会再讨论。


牛顿迭代法求解Logistic回归

现在回归到最开始的那个问题上。我们已经求出了Logistic回归的似然函数的一阶偏导数

lnL(w)wk=i=1mxik[yiπ(xi)]

由于lnL(w)是一个多元函数,变量是 w=w0,w1,,wn ,所以根据多元函数求极值问题的规则,易知极值点处的导数一定均为零,所以一共需要列出n+1个方程,联立解出所有的参数。下面列出方程组如下
lnL(w)w0=i=1mxi0[yiπ(xi)]=0lnL(w)w1=i=1mxi1[yiπ(xi)]=0lnL(w)w2=i=1mxi2[yiπ(xi)]=0lnL(w)wn=i=1mxin[yiπ(xi)]=0

当然,在具体解方程组之前需要用Hessian矩阵来判断极值的存在性。求Hessian矩阵就得先求二阶偏导,即

2lnL(w)wkwj=mi=1xik[yiπ(xi)]wj=i=1mxik(exi1+exi)wj=i=1mxik(1+exi)1wj=i=1mxik[(1+exi)2exi(xiwj)]=i=1mxik[(1+exi)2exixij]=i=1mxikxij11+exiexi1+exi=i=1mxikxijπ(xi)[π(xi)1]=i=1mxikπ(xi)[π(xi)1]xij

显然可以用Hessian矩阵来表示以上多元函数的二阶偏导数,于是有
X=x10x20xm0x11x21xm1x1nx2nxmn

A=π(x1)[π(x1)1]000π(x2)[π(x2)1]000π(xm)[π(xm)1]

所以得到Hessian矩阵H=XTAX,可以看出矩阵A是负定的。线性代数的知识告诉我们,如果A是负定的,那么Hessian矩阵H也是负定的。也就是说多元函数存在局部极大值,这刚好符合我们的要求的最大似然估计相吻合。于是我们确信可以用牛顿迭代法来继续求解最优化问题。

对于多元函数求解零点,同样可以用牛顿迭代法,对于当前讨论的Logistic回归,可以得到如下迭代式

Xnew=XoldUH=XoldH1U

其中H是Hessian矩阵,U的表达式如下
U=x10x11x1nx20x21x2nxm0xm1xmny1π(x1)y2π(x2)ymπ(xm)

由于Hessian矩阵H是对称负定的,将矩阵A提取一个负号出来,得到
A=π(x1)[1π(x1)]000π(x2)[1π(x2)]000π(xm)[1π(xm)]

然后Hessian矩阵H变为H=XTAX,这样H就是对称正定的了。那么现在牛顿迭代公式变为
Xnew=Xold+(H)1U

现在我们需要考虑如何快速地算得(H)1U,即解方程组(H)X=U,通常的做法是直接用高斯消元法求解,但是这种方法的效率一遍比较低。而当前我们可以利用的一个有利条件是H是对称正定的,所以可以用Cholesky矩阵分解法来解。Cholesky分解原理可以参考线性代数方面的书籍,此处不再赘述。

到这里,牛顿迭代法求解Logistic回归的原理已经介绍完了,但正如前面所提过的,在这个过程中因为要对Hessian矩阵求逆,计算量还是很大。而在后续的文章里我们会再来详细探讨拟牛顿法原理及应用,它是针对牛顿法的弱点进行了改进,更具实践应用价值。

7
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

logistic回归与牛顿方法的python实现 (standford公开课程小作业)

#coding=utf-8 #文件开头加上、上面的注释。不然中文注释报错 #第一个自己学的机器学习算法、我目前只给出自己写的代码、注释较多。关于logistic regression和牛顿方法的概念...
  • qq403977698
  • qq403977698
  • 2015-08-03 21:41
  • 2269

Logistic回归与牛顿法(附Matlab实现)

回归,是一种连续模型,受噪声的影响较大,一般都是用来做预测的,但也有除外,比如本文要讲的Logistic回归就是用来做分类的。 Logistic Regress Logistic一般用于二分...
  • u013571752
  • u013571752
  • 2014-03-12 20:06
  • 3346

机器学习2——分类和逻辑回归Classification and logistic regression(牛顿法待研究)

不同于回归问题,分类问题是指预测值y只有几个离散的值,这里只讲binary classification 二分类问题,即y只取0,1。Logistic regression1 why logistic...
  • qq_16949707
  • qq_16949707
  • 2016-12-06 23:42
  • 486

logistic回归|梯度下降|牛顿法总结

1.logistic回归模型logistic回归是用线性模型解决分类问题的算法 考虑现在有一个样本集合,样本特征有两维,要用一条直线作为这两类的分界线,如下图所示 也就是说logistic算法就是...
  • u014664226
  • u014664226
  • 2016-06-16 11:17
  • 2223

logistic回归与牛顿法

在logistic回归中使用牛顿法,替代梯度下降法,解决梯度下降法迭代次数太多的问题。
  • u012526120
  • u012526120
  • 2015-10-04 16:38
  • 1772

梯度下降法和拟牛顿法(四):在Logistic回归中的应用

生活中我们有一个简单的经验:某一件事情发生的概率与另一些事情成正相关关系。比如说,一个开宝马车的人是百万富翁的概率是很大的。使用数学记号可记为: P(Y=1)∝wTXP(Y=1)\propto w^...
  • z5718265
  • z5718265
  • 2016-07-16 17:30
  • 262

《机器学习实战》Logistic回归数据集testSet.txt

  • 2017-11-07 16:24
  • 3KB
  • 下载

机器学习实战之Logistic回归

  • 2017-11-14 09:33
  • 9KB
  • 下载

机器学习-Logistic回归数据

  • 2014-07-01 13:03
  • 157KB
  • 下载

机器学习实战logistic回归代码

  • 2015-12-24 11:00
  • 1.48MB
  • 下载
    个人资料
    • 访问:2233810次
    • 积分:26933
    • 等级:
    • 排名:第241名
    • 原创:338篇
    • 转载:15篇
    • 译文:0篇
    • 评论:4021条
    算法之美

      算法之美

      :隐匿在数据结构背后的原理
      (C++版)

      源码获取,读者答疑,请加算法学习群
      群容量有限,未购书者勿扰
      (495573865)
    图像处理

      《图像处理中的数学修炼》
      图像处理书籍读者群
      (155911675)

      还未购入本书者,切勿尝试加群,本群谢绝吃瓜群众以及毫无诚信者围观,妄图浑水摸鱼的行为最终都只能自取其辱
    联系方式
  • 1. 在博客文章下留言,博客私信一律不回
  • 2. 邮件fzuo#foxmail.com,将#换成@。
    最新评论