吴立德《数值优化》（Numerical Optimization）视频学习笔记（一）

一．数值优化概论

1.术语

变量（可以是多维）、目标函数、等式和不等式的约束函数、可行域、解。

2.运输问题

3.机器学习问题

4.一些重要的子类

（1）无约束优化与约束优化。
（2）线性规划：目标函数、约束函数都是线性的。
（3）二次规划：目标函数是二次函数，约束函数是线性的。
（4）凸规划：目标函数是凸的（只有一个最小值），约束函数是线性的。

5.左邻右舍

（1）局部和全局（只讨论局部）。
（2）连续和离散（只考虑连续）。
（3）决定与随机（只考虑决定）。

6.关于“数值”

在算法设计时，要考虑舍入误差（高斯消去法，选主元）。

7.基本内容

（1）解的存在、唯一、特征。
（2）算法本身与收敛性、收敛速度。
（3）算法的收敛性。