【最优化方法】无约束非线性函数

向量投影证明

$$\begin{gathered} b_1=d\ast \frac{a_1}{|a_1|} \\ d=|a_2|\ast cos\theta \\ cos=\frac{(a_2,a_1)}{|a_2||a_1|} \end{gathered}$$
由上面3个式子最终得到
$$b1=\frac{(a_2,a_1)}{(a_1,a_1)}{a}_1$$

施密特正交化

我们想要构造正交的基坐标系，我们希望各个坐标最好是能够互相正交的，我们让
$$b_1=a_1$$
另一个坐标应该是$b_2$，这个坐标可以根据向量的运算得到
$$\begin{gathered} b_2=a_2-b_1 \\ {b}_1=\frac{a_2,b_1}{(b_1,b_1)}b1 \end{gathered}$$
拓展到高维度也是同样道理，具体可以参考施密特正交化高维度的方法。

最速下降法

二次型

二次型是一个从向量到标量的函数：
$$f(x)=\frac{1}{2}{x}^{T}Ax-bx+c$$
它的导数是:
$$\begin{gathered} Ax-b=0 \\ Ax=b \end{gathered}$$
我们可以将计算$Ax=b$转为计算二次型的最值问题。

上图为不同的 A 对 f(x) 的图像的影响。(a)正定矩阵的二次型;(b)负定矩阵的二次型;©奇异矩 阵和非正定矩阵的二次型;(d)不定矩阵的二次型:此时解是一个鞍点，梯度法和 CG 均无法处理该问题。

下降方向

最速下降法也就是梯度法，其中梯度是函数值变化最大的方向。最终通过求导的方式来确定步长。
$$\begin{gathered} d=-\nabla f(\mathbf{x}) \\ {x}_{i+1}=x_i+\alpha d \end{gathered}$$

证明垂直和最佳步长

现在我们已经确定了下降方向，接下来我们要确定下降的步长$\alpha$, 步长我们我们使用精准的公式法进行计算。我们令函数为关于
$$\begin{gathered} \psi (\alpha )=f(x_{i+1}) \\ \nabla \psi (\alpha )=\frac{\partial f(x_{i+1})}{\partial \alpha }=\frac{\partial f(x_{i+1})}{\partial x_{i+1}}\frac{\partial x_{i+1}}{\partial \alpha }=(A{\mathbf{x}}_{i+1}-b){\mathbf{d}}_i=d_{i+1}{d}_i=0 \end{gathered}$$
所以证明了两次的搜索方向是互相垂直的。下面将计算出$\alpha$的具体数值:
$$\begin{gathered} {\mathbf{d}}_{i+1}{\mathbf{d}}_i \\ =(A{\mathbf{x}}_{i+1}-b{)}^T\mathbf{d} \\ =(A(x_i+\alpha d)-b{)}^T{d}_i \\ =(A{x}_i+\alpha A{d}_i-b{)}^T{d}_i \\ =(A{x}_i-b+\alpha A{d}_i{)}^T{d}_i \\ =(-d_i+\alpha A{d}_i{)}^T{d}_i \\ =-d_i^T{d}_i+\alpha d_i^{T}A{d}_i=0 \end{gathered}$$
化简得到

$$\alpha =\frac{d_i^T{d}_i}{d_i^{T}A{d}_i}$$

共轭梯度下降