凸优化学习笔记1（中科大）引言

2345章910章

1.引言

优化（optimazation）/数学规划（mathematical programing）
从一个可行解的集合中，寻找出最优的元素。

1.1 数学优化

• 线性规划：优化问题中的目标函数和约束函数都为线性函数，
  
• 凸优化问题：优化问题中的目标函数和约束函数都为凸函数，（凸集中的凸函数）
  
  线性规划问题是凸优化问题，凸优化是线性规划的拓展。
• 光滑 / 非光滑
• 连续 / 离散
• 多目标优化：可加权
  本书解决：凸优化，单目标，光滑

1.2 最小二乘和线性规划

1.2.1 最小二乘问题

最小二乘问题求解：

加权最小二乘：

正则化：

1.2.2 线性规划

求解线性规划：单纯形法、内点算法

1.3 凸优化

其中，约束条件为凸函数。

1.4 非线性优化

目标函数或约束函数是非线性函数。

1.4.1局部优化

1.4.2全局优化

1.4.3 非凸问题中凸优化的应用

局部优化中利用凸优化进行初始值的选取
非凸优化中凸启发式算法
全局优化的界（上界、下界）