经典优化方法漫谈

袁亚湘院士经典优化方法漫谈报告笔记

1 什么是优化

优化：多种选择中挑最好的
任何存在决策的问题是优化问题 ，优化是运筹管理的核心方法，机器学习深度学习人工智能本质是一种优化问题。
在数学中为求极值问题。

2 线性规划

2.1单纯性法

解在顶点 单纯型法 在顶点调整。
几何上寻找凸面体上最低点，直观简单。
缺点：不是多项式算法，存在例子遍历所有顶点。

2.2 内点法

在之前先介绍椭球算法。

蓝色为可行凸集，构造红色椭球将其包围，红点为中心。红点不在蓝色区域内，存在超平面（红线）将蓝色区域和红点分离，即将红色椭球分为两部分。丢弃红点所在部分，构造新椭球将剩余红色椭球部分包围，继续分割，直至中心点在蓝色区域。

将非负约束取log ，作为罚函数。违反约束时，罚函数趋近无穷。

等边三角形作为最简单凸多面体，x*为最低点，x作为起始点，作内接圆，下一步迭代到w,与目标值距离减少一半以上，具有较好的性质。

3非线性规划

梯度法

3.1 最速下降法

本质泰勒展开原理。最速下降为非线性规划的最简单方法。

最速下降:最优方向 +最优步长！=最优 处理椭圆时，会形成左右横跳。
开个玩笑：班上最好的男生一般不找班上最好的女生。
反而出现使用使用上一个步长效果较好。

3.2共轭梯度法

我走最优的步长，如何选择方向？共轭方向。

下一个方向是上一个方向的线性组合。共轭将一个n维问题转化为了n个一维问题。

分子分母组合出第四个方法。

3.3拟牛顿法

牛顿法：切线代替曲线

因为海森矩阵难求，因此代替，模拟海森矩阵性质。

4 信赖域方法

在区域内搜索

5 非线性优化问题

未完待续
KKT
拉格朗日函数
最小最大 鞍点