迭代算法的基本格式

$\quad选定初始点X_0,令下标变量k=0，然后按照某种规则把X_k映射为后继点\\X_{k+1},从而形成一个迭代序列\{X_k\},这种规则称为迭代算法。如果某个函数\\f(X),迭代序列恒满足f(x_{k+1})<f(x_k),则称此迭代算法为下降 迭代算法，简称\\下降算法。$

$\quad记\Delta X_k=X_{K+1}-X_k,令\Delta X_k=t_k\cdot P_k,得X_{k+1}=X_k+\Delta X_k=X_k+t_kP_k,\\其中，P_k为与\Delta X_k同方向的向量，\\称为搜索方向，t_k称为步长因子（t_k>0)$
$\quad利用下降迭代算法求一个越苏优化问题的极小值，则每一次迭代都应根据目\\标函数，约束函数在改点的某些信息，确定本次迭代的一个搜索方向P_k和适当的\\步长t_k，使新的迭代点在约束可行域内，级\{X_k\}\in D(k=0,1,2,....).下降迭代算\\法的关键在于构造每一步的搜索向量和确定步长因子，UI单P_k的构造方法和t_k\\的选取方法确定，这就确定了一种迭代方法。多数算法中，步长的确定方法采用$

$$t_k:\min_{t}f(X_k+tP_k)$$ 下降迭代算法的一般步骤为：
$step1.选定初始点X_0,令k=0$
$step2.依照一定的规则搜索向量，取f(X)在点X_k的下降方向作为搜索向量P_k。$
$step3.从X_k出发，沿搜索方向P_k确定步长t_k，使得X_k+t_kP_k\in D,且$ $$f(X_k+t_kP_k)<f(X_k)$$
$step4.得到新的迭代点X_{k+1}=X_k+t_kP_k$
$step5.检查终止条件，判定X_{k+1}是否为极小点或近似极小点，若是，停止迭代，\\输出X_k作为最优解，否则，k=k+1,转到step2$
$\quad实现向X^*逼近的搜索，其关键是确立寻找P^{(k)}的各种有效办法，\\这正是各种 迭代法的主要区别所在。为了计算方便，有时取P^{(k)}为单位\\向量，称为规格化方向，有时取t_k为常数，称为定步长。$
下面给出一个有关结论：
$设f(X)一节连续可微，X_{k+1}按如下规则获得：$ $$\begin{equation} \left\{ \begin{aligned} t_k：\min_tf(X_k+tP_k) \\ X_{k+1}=X_k+t_kP_k \\ \end{aligned} \right. \end{equation}$$
则有 $\Delta f(X_{k+1})P_k=0.$
$\quad证明: 设\phi (t)=f(X_k+tP_k),令\phi '(t)=0,即$ $$\frac{df(X_k+tP_k)}{dt}=0\Rightarrow\Delta f(X_k+tP_k)^TP_k=0$$
$可求出t_k\Rightarrow\Delta f(X_k+t_kP_k)^TP_k=0\Rightarrow\Delta f(X_{k+1})^Tp_k=0$
$\quad该结论说明，从某一点X_k出发沿搜索方向P_k对目标函数f(X)进行搜索\\求解，所得极小点（即新的迭代点）为X_{k+1},且改点的梯度\Delta f(X_{k+1})\\与搜索方向P_k正交。此外，由于过点X_{k+1}的目标函数的等值面\\f(X)=f(X_{k+1})与该点的梯度\Delta f(X_{k+1})正交，则这个等值面与搜索方\\向P_k在点X_{k+1}相切。下面这张图说明原理：$