LBFGS算法使用

一、首先把两个作者 JORGE NOCEDAL 给的文件看明白sdrive.f和lbfgs.f

   sdrive.f -  is a simple driver
   lbfgs.f  -  contains all the supporting routines

 

1、lbfgs.f文件包括LBFGS算法和运行函数等

 

 主体函数为：

 subroutine lbfgs(n, m, x, f, g, diagco, diag, iprint, eps, xtol, w, iflag)

 

 int          n, m, iprint[2], iflag;

 double   x[n], g[n], diag[n], w[n*(2*m+1)+2*m];

 double   eps, xtol;

 bool       diagco;

 

 使用LBFGS方法，能够有效地解决大规模变量的问题。算法开始定义一个对角矩阵H_k0，之后应用多次迭代，每次迭代使用前M个BFGS的结果更新这个矩阵，直到得到H_k矩阵，这个矩阵近似等于海塞矩阵的逆矩阵。这里的M是用户指定的，会影响到运行中所需的存储空间大小。用户同样可以提供一个不满足默认选择的初始对角矩阵。算法的详细描述可以阅读"On the limited memory BFGS method C for large scale optimization" by D. Liu and J. Nocedal。

 

用户需要自己计算给定的函数F的值和梯度G，为了便于用户控制这些计算可以使用逆向交流（这个还没看到，看到再写？），通过iflag实现重复调用函数运算。

 

每次迭代都会定义步长，定义使用CSRCH的微变换MCVSRCH。

 

调用语句为call lbfgs(n, m, x, f, g, diagco, diag, iprint, eps, xtol, w, iflag);

 

下面详细解释参数：

 

n:整型变量，变量个数 n>0

 

m:整型变量，BFGS更新时使用的修正个数 3<=m<=7

 

x:双精度浮点数组变量，长度为n，初始化为可能的解得向量 X=(x1, x2,..., xn)，程序结束时存储最优解结果向量

 

f:双精度浮点变量，初始化和iflag=1时为X带入的函数值

 

g:双精度浮点数组变量，长度为n，初始化呵iflag=1时为带入X后的函数的梯度

 

diagco:逻辑变量，如果用户希望每次迭代前提供初始化的对角矩阵设定为true，否则使用默认矩阵设为false。如果设为true， 每次迭代返回iflag=2且初始对角矩阵需要通过数组diag设置。

 

diag:双精度浮点数组，长度为n，如果diagco=true，初始化和iflag=2时，用户需要输入初始矩阵的数值，且每个值必须非负

 

iprint:整型数组变量，长度为2，用户设定

      iprint[0]表示输出的频率--<0不生成输出，=0只在第一次和最后一次迭代后输出，>0每次迭代输出

      iprint[1]表示输出类型----=0输出迭代次数，函数评估，函数值，归一后的梯度值和步长

                                          =1除了以上之外，还输出最初点的变量向量和梯度向量

                                          =2除了以上之外，还输出结果变量向量

                                          =3除了以上之外，还输出结果梯度向量

 

eps:正的双精度浮点变量，用户设定，定义找到解终止迭代的误差范围 ||g||<epsmax(1,||x||);

 

xtol:正的双精度浮点变量，用户设定，机器精度，迭代在这个精度以下时自动终止

 

w:双精度浮点数组变量，长度为n(2m+1)+2m，作为LBFGS的运行空间

 

iflag:整型变量，如果返回结果为负表述出现错误，返回0表示无错终止，返回1用户必须给函数f和梯度g赋值，返回2用户需要提供初始对角矩阵

下面的错误信息就懒得翻译了，比较容易理解反正

 The following negative values of IFLAG, detecting an error,
C             are possible:
C
C              IFLAG=-1  The line search routine MCSRCH failed. The
C                        parameter INFO provides more detailed information
C                        (see also the documentation of MCSRCH):
C
C                       INFO = 0  IMPROPER INPUT PARAMETERS.
C
C                       INFO = 2  RELATIVE WIDTH OF THE INTERVAL OF
C                                 UNCERTAINTY IS AT MOST XTOL.
C
C                       INFO = 3  MORE THAN 20 FUNCTION EVALUATIONS WERE
C                                 REQUIRED AT THE PRESEN