转载请注明出处:http://www.codelast.com/
最优化(Optimization)是应用数学的一个分支,它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。我一直对最优化比较感兴趣,所以写过一些相关的笔记,可能有不正确的地方,但请学术派、技术流们多多包涵。
【1】拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno
【2】最速下降法/steepest descent,牛顿法/newton,共轭方向法/conjugate direction,共轭梯度法/conjugate gradient 及其他
【3】Ridders求导算法
【4】选主元的高斯-约当(Gauss-Jordan)消元法解线性方程组/求逆矩阵
文章来源:http://www.codelast.com/
【5】关于 最优化/Optimization 的一些概念解释
【6】最小二乘的理论依据
【7】Powell共轭方向集方法(Powell's Conjugate Direction Method)的实现
【8】黄金比例搜索算法(Golden Section Search)的实现
【9】LM(Levenberg-Marquard)算法的实现
文章来源:http://www.codelast.com/
【10】一维搜索中的划界(Bracket)算法
【11】漫谈line search中的Fibonacci搜索与黄金比例搜索
【12】用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则
【14】使用一维搜索(line search)的算法的收敛性
【15】line search中的重要定理 - 梯度与方向的点积为零
【16】Cauchy-Schwartz(柯西-许瓦兹)不等式复习
【17】再谈 最速下降法/梯度法/Steepest Descent
【18】再谈 牛顿法/Newton's Method In Optimization
【19】再谈 共轭方向法/Conjugate Direction Method In Optimization
【20】To be added...