最优化试题

更多详细在文章末尾，后续会将手写内容写在博客里

1 . 简述最优化问题的算法的一般迭代格式及其收敛性和停止准则。常见的最优化算法有哪些，分别用于解决哪些问题.

一般迭代格式:

收敛性：
在最优化问题的迭代过程中，如果目标函数的值逐渐接近最优解，且迭代点的变化逐渐减小，那么我们称这个迭代过程是收敛的。如果迭代点最终达到一个固定点或无法进一步变化（即达到了某种形式的边界条件），那么我们称这个迭代过程已经收敛到了最优解。
停止准则：

常见的最优化算法：

2. 简述最速下降法下降方向和步长的选取原理，分析算法的优缺点.

3. 简述线性规划问题单纯形法的基本原理，解的可能性和出现的位置

线性规划的基本概念

4. 什么是凸优化，凸优化问题相比其他优化问题有什么好处？

凸优化问题是指目标函数和约束条件都是凸函数的优化问题

凸优化问题的优势主要有以下三点：
凸优化问题的局部最优解就是全局最优解
很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题
凸优化问题的研究较为成熟，当一个具体被归为一个凸优化问题，基本可以确定该问题是可被求解的

5. 简述惩罚函数法的基本思想和适用范围.

基本思想：

适用范围：
内罚函数法适用于只有不等式约束的优化问题，并且要求可行域的内点集非空。
乘子法和外罚函数法适用于包含不等式约束或等式约束的优化问题。

6. 简述黄金分割法和斐波那契法的区别和联系.

7. 总结利用 Matlab 求解线性规划、0-1 规划、非线性规划、动态规划和多目标规划等问题的命令和函数.

线性规划：

01规划：

非线性规划：fmincon和fminunc
带约束：fmincon
有约束非线性规划
有约束非线性规划
不带约束：fminunc
无约束非线性规划

动态规划：参考文章

动态规划函数使用说明:
function [p_opt,fval]=dynprog(x,DecisFun,ObjFun,TransFun)
% 自由始端和终端的动态规划,求指标函数最小值的逆序算法递归计算程序
%输入参数
% x各阶段状态变量的可能取值，第k列代表第k阶段状态变量可能取值
% DecisFun(k,x)决策函数，由阶段k的状态变量x求出相应的允许决策变量
% ObjFun(k,x,u)阶段指标函数
% TransFun(k,x,u)状态转移函数，其中x是阶段k的某状态变量，u是相应的决策变量
%输出参数
% p_opt动态规划的规划过程，p_opt=[阶段序号，状态变量，决策变量，指标函数]
% fval总目标函数值，是一个列向量，第i元素代表第一个状态变量取第i个可能值时的总目标

多目标规划：

或者 fgoalattain理想点法的另一求解函数

8. 总结牛顿类数值算法，指出这些算法的主要区别.

牛顿法（牛顿法、拟牛顿法、阻尼牛顿法）
牛顿法牛顿法将目标函数近似为二阶函数，沿着牛顿方向进行优化（包含了Hession矩阵与负梯度信息）。

阻尼牛顿法在更新参数之前进行了一维搜索确定步长，确保沿着下降的方向优化。

拟牛顿法用常数矩阵近似替代Hession矩阵或Hession矩阵的逆矩阵，不用求偏导与求逆，简化运算。，沿着牛顿方向进行优化（包含了Hession矩阵与负梯度信息）。
阻尼牛顿法在更新参数之前进行了一维搜索确定步长，确保沿着下降的方向优化。
拟牛顿法用常数矩阵近似替代Hession矩阵或Hession矩阵的逆矩阵，不用求偏导与求逆，简化运算。

9. 为何最速下降法会产生锯齿现象，锯齿现象对算法会产生怎样的影响？

10. 线性规划的可行域非空，则最优解有哪些情况，这些解分别会出现在可行域的什么位置？

11. 凸性在最优化问题里面扮演着怎样的作用？

12. 用内部罚函数法求解带不等式约束的优化问题时，为何每步迭代时要缩小惩罚系数？

笔记地址