SR1
优点:
对逆矩阵采用迭代计算,用向量外积的方式解决大量计算。
解决了矩阵的计算量大的问题
缺点:
首先我们的B矩阵在后面的迭代后可能不再是正定的了,可能影响我们找到极小点
其次分母,可能是一个非常小的量,导致B_K不稳定,变的非常大。
DFP
优点:
通过两个向量的外积来保证在迭代的过程中B矩阵是正定的。
缺点:
会出现奇异矩阵的情形。没法继续搜索
BFGS
优点:
迭代Hessian矩阵而不是逆矩阵。避免出现奇异矩阵的问题。
保持正定
步长计算精度不高,但是还是稳定的
缺点:
当优化问题规模很大时,矩阵的存储和计算将变得不可行。