本文介绍了预条件共轭梯度法（PCG）的基本概念，包括共轭梯度法的原理、线性搜索法、预条件在优化过程中的作用。通过分析SPD系统线性方程组，阐述了将求解问题转化为求最小值问题的过程。讨论了不同求解策略，如最速梯度下降法，并提出了预条件的必要性以减少迭代次数。文中提到了代码实现过程中存在的挑战，引用了相关参考资料供读者深入研究。
简介
共轭梯度法是一种求解SPD系统线性方程组的迭代方法。它本来是一种直接法，但是通过迭代法求解后，配合复杂的预条件方法，反而更受欢迎。
我们将求解
转化为求解phi(x) 的最小值
注意：A的SPD性质确保了它的唯一性。
线性搜索法
将线性求解的问题转化为求最小值的问题后，我们尝试用线性求解的方式。我们首先选择一个初始位置，不同的方法会选择不同的方向和step length。
其中，local gradient经过计算就是
，这个也会被称为系统残差。
对应的步长如下
但是我们认为最速梯度下降法zigzag的路线并不能真正最快的找到最优解，因此想到了利用历史梯度的先验信息去解决这个问题。
共轭梯度下降法
共轭
最低0.47元/天 解锁文章
1370
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
