一、凸集的定义:
典型的凸集
A、线段,射线,直线
B、超平面,半空间
C、仿射集
D、欧几里得球,范数球,椭球等
E、凸锥,范数锥等
超平面和半空间概念
仿射变换
二、凸函数
二、性质
2.1、一阶条件
2.2、二阶条件
Jensen不等式
三、凸优化
优化问题的基本形式:
凸优化问题:
对偶问题:
Lagrange对偶函数
三、无约束凸优化问题求解
3.1、解析解
对于少数一些简单的凸优化问题,可以利用最优性准则通过解析来求解。但对于大多数凸优化问题来讲,是没有办法通过解析来求解的。
3.2、下降方法
下降方法中,有两个问题需要解决:确定搜索步长和确定搜索方向。确定搜索步长的方法和算法有:固定步长搜索、精确直线搜索和回溯直线搜索。确定搜索方向的方法和算法有:梯度下降方法、最速下降方法和牛顿法。
3.3、确定步长的方法
1、固定步长搜索
步长值根据经验设定,为了防止算法震荡,值应当较小。优点:直观、简单;缺点:收敛速度慢。
2、精确直线搜索
3、回溯直线搜索
比较常用的是回溯直线搜索,大概思路是,用迭代方法求得的步长只要能使目标函数有足够的减少即可。
2.1、算法
2.2、算法解释
2.3、参数解释
3.4、调整搜索方向的方法
1、梯度下降方法
2、最速下降方法
一、简介
利用目标函数的一阶泰勒展开近似优化过程,求得搜索方向的方法。
二、思路及推导
3、牛顿法
利用目标函数的二阶泰勒展开近似表示目标函数,通过求解这个二次函数的极小值来确定搜索方向。
2.1、牛顿法推导
参考博客和视频:
https://www.jianshu.com/p/967e1ea18469
https://v.youku.com/v_show/id_XOTI0MjY0NTQw.html?from=s1.8-1-1.2