最优化方法笔记2：多维无约束最优化

1 多维无约束最优化问题（待更新）

1.1 随机搜索法

此方法重复计算函数随机生成的自变量的函数值。只要挑选的样本数目足够多，最终便会求出最优值。

优缺点：对不连续和不可微的函数同样有效。能得到全局最优解，而不是局部最优。缺点当然是，效率太低了！！

1.2 共轭方向法（鲍威尔(Powell方法）

单变量检索方法的基本思想是每次只改变一个变量的值来改进近似值，而其他的变量保持不变。由于只有一个变量的值被改变，所以问题便简化成一维情况，由此可以通过一维优化方法来处理。（一维无约束最优化：https://blog.csdn.net/luolei188/article/details/105373323）

注意到，如果交替连接两点如1-3, 3-5或2-4, 4-6得到的直线通常是指向最大值方向的，因此这些轨迹提供了一个沿着山脉直接指向最大值的方向，这条轨迹称为模式方向。

如下图所示，若点1和点2可以通过在方向相同但起始点不同的一维检索获得，那么由点1和点2构成的直线将直接指向最大值。这条线称为共轭方向。

由以上思路我们可以得出一种方法，鲍威尔(Powell方法，思路如下：

1.3 梯度法

对于一个二维函数f(x,y)，沿哪个方向是上升速度最快的方向？答案是，沿梯度方向。二维函数f(x,y)的梯度为：

高维的情况与之类似。

1.2.1 最速上升法

先沿着梯度的方向行进一小段距离，然后停下来重新计算梯度，再前进一小段距离，重复这个过程，直到到达山顶。
但是前进一小段距离是前进多少？一个首选的方法是沿着初始的梯度方向在一条固定的路上前进，直到f(x,y)停止增加，即行进方向变成了水平的。然后，在这个停止点重新计算梯度，确定新的前进方向。重复这个过程，直到到达峰顶。这个方法称为最速上升法。（如果是计算最小值，思路类似，方法叫最速下降法）。
此方法的基本思想如图14-9所示。

那么，有一个问题就是，沿着梯度方向到什么时候会达到最大值？此时，我们已知梯度方向，可以将f(x,y)关于x和y的函数转变成一个梯度方向h的函数。这样，便把寻找二维函数的最优值转变成沿着梯度方向进行一维搜索。然后通过一维优化方法来计算当前的最优值。

1.2.2 改进的梯度法

1.2.2.1 共轭梯度法（待更新）

将共轭方向和梯度的思想结合起来。

1.2.2.2 牛顿法

就是将单变量的牛顿法推广到多变量的情况。（详细可参看：多元函数的极值&牛顿迭代法 https://blog.csdn.net/luolei188/article/details/83959147）

1.2.2.3 马夸特方法

1.2.2.4 准牛顿法

根据两种不同的逼近方法：泰勒级数逼近和赫赛矩阵逼近，有两种算法：DFP和BFGS算法。（这里不做细讲，感兴趣的可以去查阅相关文献资料。）