无约束优化问题之迭代下降算法-2021年12月20日/21日

最优化问题概述

对需要优化的问题建模
根据优化问题的特征，找相应的软件快速求解
软件：对于凸优化Matlab cvx
最优化问题是决策问题，比如生产问题，路径选择问题，车辆调度问题，投资决策问题，从许多可以执行的策略中选择一个或者一些可以执行的策略使得目标最优；
一个最优化问题应该包括：
1、决策变量（生产问题中的原材料，你要去做决定的事情）
2、一个或者多个目标函数（明确目标是什么，比如成本尽可能小，时间尽可能少，收益尽可能大）
3、一个由可行策略组成的集合，可以由等式或者不等式刻画；
最优化问题的基本形式：
见课本P107
最优化问题的分类：

• 无约束优化/约束优化
• 线性/非线性优化
• 连续优化/离散优化
• 单目标优化/多目标优化
• 动态规划
• 随机规划
• 鲁棒优化

无约束优化

没有约束条件存在
min f(x)
p=0,q=0
在实践问题中，不会有无约束最优化问题，那为什么要学习讨论它？
很多时候建模出来的问题是约束化，但是我们可以把约束转化为无约束，那怎么转化呢？

线性回归方法中的最小二乘问题：min||Ax-b||
采用适当的方法可以将约束优化问题转化为无约束优化问题
最优解：见课本