最优化计算方法的复习资料（马昌凤）

第一章：最优化方法引论

1.1 最优化问题的概念和分类：最优化问题是指在一定的条件下，找到使目标函数取得最大值或最小值的变量取值，分为无约束最优化和有约束最优化。

1.2 最优化问题的数学模型和约束条件：最优化问题可以用数学模型来描述，而约束条件可以是等式或不等式。

1.3 最优解的定义和存在性：最优解指使目标函数取得最小或最大值的变量取值。存在性的条件是目标函数是连续的，定义域是紧致的。

1.4 最优化方法的基本思想和步骤：最优化方法的基本思想是通过一定的迭代策略，不断逼近最优解。步骤包括选择优化算法、确定迭代终止条件、进行迭代计算等。

第二章：线搜索方法

2.1 一维搜索方法：一维搜索方法是在一定的搜索区间内，找到使目标函数取得最小值的变量取值。

2.2 黄金分割法和斐波那契法：黄金分割法和斐波那契法是两种常用的一维搜索方法。

2.3 线搜索法的框架和算法：线搜索法是一种基本的优化方法，其框架包括选择搜索方向和步长，以及计算函数在新位置的值。

第三章：梯度法和牛顿法

3.1 梯度法和最速下降法：梯度法和最速下降法是两种常用的一阶优化方法，其中梯度法沿着梯度的反方向进行搜索，而最速下降法在搜索方向上满足一定的加速条件。

3.2 牛顿法和拟牛顿法：牛顿法是一种二阶优化方法，它使用目标函数的二阶导数信息来确定搜索方向和步长，可以有效地逼近最优解。拟牛顿法则是通过近似目标函数的Hessian矩阵来代替牛顿法中的精确Hessian矩阵，从而避免计算Hessian矩阵的繁琐。

3.3 梯度法和牛顿法的比较和应用：梯度法和牛顿法都有其优点和局限性，需要根据具体情况进行选择。应用方面，梯度法常用于大规模问题，而牛顿法常用于小规模问题。

第四章：共轭梯度法

4.1 共轭梯度法的基本思想和算法：共轭梯度法是一种高效的迭代算法，它利用梯度信息构造共轭方向，并在每个方向上进行最优化搜索，以求得最优解。其基本思想是通过构造一组共轭方向，使得在每个方向上的搜索都能够得到最优解。

4.2 共轭梯度法的收敛性和性能分析：共轭梯度法的收敛速度较快，具有二次收敛性质，但是其性能分析较为复杂。

4.3 共轭梯度法的应用和改进：共轭梯度法广泛应用于大规模优化问题，同时也有许多改进算法，如预处理共轭梯度法、共轭梯度法的非线性变换等。

第五章：拟牛顿法

5.1 拟牛顿法的基本思想和算法：拟牛顿法是一种基于Hessian矩阵的近似方法，其基本思想是通过一定的方式来逼近目标函数的Hessian矩阵，然后用逼近的Hessian矩阵来确定搜索方向和步长。

5.2 拟牛顿法的收敛性和性能分析：拟牛顿法的收敛速度较快，但其性能分析较为复杂，需要对拟牛顿矩阵的收敛性进行研究。

5.3 拟牛顿法的应用和改进：拟牛顿法在实际应用中表现良好，但是也有一些改进算法，如Broyden-Fletcher-Goldfarb-Shanno算法、限制性拟牛顿法等。

第六章：信赖域方法

6.1 信赖域方法的基本思想和算法：信赖域方法是一种基于二次模型的优化算法，其基本思想是在一定的信赖域内构造一个二次模型，然后通过求解这个二次模型来确定搜索方向和步长。

6.2 信赖域方法的收敛性和性能分析：信赖域方法具有一定的收敛性和性能保证，但其分析较为复杂，需要对信赖域半径和模型误差进行研究。

6.3 信赖域方法的应用和改进：信赖域方法在实际应用中表现良好，但是也有一些改进算法，如变尺度信赖域方法、内点信赖域方法等

第七章：最小二乘问题

7.1 最小二乘问题的概念和求解方法：最小二乘问题是指在一组数据中，通过拟合一个函数来使得拟合函数与数据之间的误差最小，其求解方法包括正规方程法、QR分解法、SVD分解法等。

7.2 最小二乘问题的应用：最小二乘问题在实际应用中广泛存在，如数据拟合、曲线拟合、参数估计等。

第八章：最优化条件

8.1 最优化条件的概念和分类：最优化条件是指在最优化问题中，使得目标函数达到最优解的一系列条件，可以分为无约束最优化条件和有约束最优化条件。

8.2 约束条件的分类和求解方法：约束条件可以分为等式约束和不等式约束，其求解方法包括投影法、梯度投影法等。

8.3 拉格朗日乘子法和KKT条件：拉格朗日乘子法是一种常用的求解约束最优化问题的方法，其本质是在原问题基础上增加一个拉格朗日函数，通过求解该函数的鞍点来得到最优解。KKT条件是求解约束最优化问题的另一种方法，它是最优化条件的一种必要条件。

第九章：线性规划问题

9.1 线性规划问题的概念和形式化描述：线性规划问题是一类特殊的优化问题，其目标函数和约束条件均为线性函数，可以通过一定的算法求解。

9.2 线性规划问题的标准形式和单纯形法：线性规划问题可以通过转化为标准形式来求解，而单纯形法是一种常用的求解线性规划问题的算法。

9.3 线性规划问题的对偶问题和解法：线性规划问题的对偶问题是通过对原问题进行对偶变换得到的问题，可以用对偶单纯形法等方法求解。对偶问题和原问题的解是相等的，因此对偶问题可以用来检验原问题的解的可行性和最优性。