工程优化问题【无约束优化】简单算法思路总结

1 无约束优化算法思路

2 无约束优化的几种方法

2.1 最速下降法（梯度法）

算法步骤

例题

2.2 牛顿法

2.2.1基本牛顿法

算法步骤

例题

2.2.2 阻尼牛顿法

算法步骤

例题

2.3 共轭方向法

算法思路

注意：共轭方向法仅仅是一种思想，其思想描述如下，由此衍生的共轭梯度法

看了好多人的讲解，可脑袋里还是没有共轭方向的这个概念，因为给出的定义都是数学公式，没有通俗的理解是干啥的，直到我读到了李元科老师的书中所写，如上，产生了这样的理解，仅供参考哈，帮助理解数学定义而已。

个人理解：

由原来的正交n维坐标系，改为n个共轭向量所构成的坐标系，那么将这新的n维依次搜索一边，就会得到“圆心”（最优点），那么新的n维度和旧的正交n维坐标系有什么联系呢？看到了定义，H矩阵（Hess）！！！线性变换！！！即共轭向量经过H，变换为旧的正交坐标系，相反也一样。当H为单位矩阵I时！！！共轭向量就是正交坐标系了！！！而对应的函数是为“正圆形”，正交坐标系又可以最好的描述出正圆函数值的变化，推广过来！！！由特殊到一般，那共轭方向不就是描述函数值变化的最优坐标系吗，因为不用自己再去手动寻找搜索方向，直接把它的每个坐标轴搜索一遍就可以得到最优值了。

可以继续往后想，I又有什么特征呢？不过在这我就不在深挖了，因为失眠的原因就是：读书太少，而想的太多。。。。。秃头。。。。。再多看点书再想吧。

如此说来共轭向量（组）就是：描述函数值变化的最优坐标系，因为把它的每个坐标轴搜索一遍就可以得到最优值了。

欸有我去，写的真是太好了，自己吹一波，666666.

2.4 共轭梯度法

算法步骤

例题

2.5 变尺度法（DFP法）

其他类型的就不说了哈，目前只学了这一个，，，，看书少

算法步骤：

例题