特征值与特征向量_矩阵的特征向量和特征值与优化方法

矩阵特征值和特征向量的描述

特征值绝对值大于1和小于1：

配图说明：

非奇异矩阵乘以任意向量，某个特征值小于1的分量逐渐收缩：

某个分量一直在减小：

雅可比迭代

解决Ax=b的问题。

D是对角矩阵，对角上的元素和A相同（便于求逆）E是对角线元素为0，其他为A

通过14式可以知道，如果x为最优解时，迭代不会改变x的值。

上面的迭代在干嘛：

每次进行14不影响真实分量x，只影响误差e，如果B的所有特征值小于1，经过有限次迭代e会收敛到0

收敛速度的讨论：

含有最大特征值对应的特征向量的初始e，收敛最慢

一个雅可比迭代的例子：

求特征值：

求特征向量：

迭代：

B的特征值和向量将不在和A相同：

之前的最速下降算法分析：

可见如果

是其中的一个特征向量那么一次迭代就求出了解。

上面式子结合：

的由来：

的得到：

看。

一次迭代出结果的图像表示：

扩展到e不是特征向量的情况：

e表示为A的特征向量的组合；

一些性质：

带入最大梯度优化：

考虑只有一个特征向量，即所有特征值相等：

可见一步就达到目的了

解释原因因为是圆形，导致无论起点在哪e都指向圆心：

简单讨论一般情况，即多个特征值，且不相等：

和雅可比迭代的区别：

一般情况下的收敛:

二次函数可以写成，x为最优值，p是任一点

最小化8即最小化

带入迭代关系；

可见w只要小于1，迭代数次后e减少

增加变量和变形：

根据上面画出图像：

通过上面图分析上面讨论过的特征值相同和e为特征向量的例子：

几种情况下迭代收敛速度的讨论：

和

不同

上面的过程每一步迭代都是正交的

An Introduction to the Conjugate Gradient Method Without the Agonizing Pain

有人看待续。