无约束优化之单纯形法（Nelder-Mead Algorithm）

单纯形法只需要计算目标函数值，是无需要一维搜索，也无需进行求导的一种直接法。其优点计算比较简单，几何概念清晰，适用于目标函数求导比较困难或不知道目标函数的具体表达式而仅知道其具体计算方法的情况。

一、基本思想
所谓n维欧氏空间中的单纯形，是指在n维空间中由n+1个顶点构成的简单图形或多面体。例如，在二维平面中的单纯形应具有三个顶点，即三角形。在三维空间中的单纯形应具有四个顶点，即四面体。当各顶点之间的距离相等时，这种几何图形就称为正规单纯形。
单纯形法的基本思想是：选n+1个顶点构成初始单纯形，计算并比较各顶点目标函数值的大小，确定它们当中函数值大的顶点及函数值的下降方向，再设法找到一个函数值较小的新点替换函数值最大的顶点，从而构成新的单纯形。随着这种取代过程不断进行，新的单纯形想着极小值点收缩逼近，从而求得极小值点。
迭代过程的主要步骤：反射、延伸、压缩。

二、单纯形法的方法原理
现在以二维问题为例说明单纯形方法的原理。
（1）构造初始单纯形

如图，设二维目标函数$f(x)=f(x_1,x_2)$，在二维平面上选三个线性无关的顶点$x_1,x_2,x_3$构成初始单纯形。计算这三个顶点处的目标函数值$f(x_1),f(x_2),f(x_3)$并比较其大小。若$f(x_1)>f(x_2)>f(x_3)$，把目标函数值最小的点$x_3$成为最好点，用$x_L$表示；把目标函数值最大的点$x_1$成为最坏点，用$x_H$表示；把目标函数值次大的点$x_2$称为次坏点，用$x_G$表示。求除$x_H$以外的所有顶点的集合形心$x_C$

（2）反射
一般来说，目标函数值下降方向在最坏点$x_H$关于形心$x_C$的对称位置的方向可能性最大。故首先求反射点，以探测目标函数值的变化趋向。
求$x_L,x_G$的中心点$x_C$，在$x_H$与$x_C$延长线取一点$x_R$，使
$$x_R=x_C+\alpha (x_C-x_H)$$
点$x_R$称为最坏点$x_H$关于形心$x_C$的反射点；$\alpha$称为反射系数，一般取$\alpha =1$，故上式变为
$$x_R=2x_C-x_H$$
计算函数值$f(x_R)$，若$f(x_R)<f(x_L)$，说明所取的探索方向正确，可沿该方向进一步扩大效果。

（3）延伸（扩张）
将搜索点延伸到$x_E$，且
$$x_E=x_C+\gamma (x_R-x_C)$$
式中，$\gamma$为扩张系数，$\gamma =1.22$，一般取$\gamma =2$。
如果$f(x_E)<f(x_R)$，说明扩张有利，以$x_E$代替最坏点$x_H$得到新的单纯形顶点 { x E , x G , x L } \{x_E,x_G,x_L\} { xE​,xG​,xL​}；如果$f(x_E)$