参数搜索算法的重要性不言而喻,涉及到优化准则的地方总会要用到,下面这些主要是最优化理论中的凸集优化理论。这些算法常用于无法用数学方法得到解集时而用的方法,例如非线性规划等问题。计算方法最常见的是迭代梯度递减算法和随机搜索算法。
一、有约束问题:
一维搜索:
1、试探法
a、黄金分割法(0.618法)
计算步骤:
b、Fibonacci法
计算步骤:
n根据表中的Fn来确定
n 0 1 2 34 5 6。。。
Fn 1 1 2 358 13。。。
c、进退法
2、函数逼近法(插值法)
a、牛顿法
计算步骤:
b、割线法
c、抛物线法
d、三次插值法
e、有理插值法
二、无约束问题
1、最速下降法
2、牛顿法
a、牛顿法
b、阻尼牛顿法
c、其他修正牛顿法
2、共轭梯度法
3、拟牛顿法
a、秩1校正
b、DFP算法
c、BFGS公式及Broyden族
4、信赖域方法
5、最小二乘法