凸优化
一旦将一个实际问题转化为凸优化问题,大体上意味着相应问题可以得到彻底解决。
线性规划:目标函数和约束函数都是线性函数,
凸优化:
目标函数和约束函数都是凸函数,
超平面分离定理
假设C和D是两个不想交的凸集,那么存在超平面将两个集合分离。
凸函数性质
- 如果函数f是凸函数,那么它的非负伸缩和求和都是凸函数。类似,凹函数的非负伸缩和求和都是凹函数。
- 如果函数f1,f2,…,fm为凸函数,则他们的逐点最大函数
也是凸函数。 - 凸优化问题的任意局部最优解也是全局最优解。对于拟凸优化问题,这一性质不成立。
- 4.
最小二乘
最小二乘优化没有约束条件,目标函数的若干项的平方和。
最小二乘的求解可以简化为求解一组线性方程:
可得,
假设矩阵A上稀疏的,可以更快地求解最小二乘问题。
判断一个优化问题是否为最小二乘:
- 检验目标函数是否为二次函数。
- 检验目标函数是否半正定。
加权最小二乘
其中,加权系数w均大于0。加权最小二乘可以转化为标准的最小二乘问题进行求解。
正则化
正则化是通过在成本函数中增加一些多余的项来实现。一种简单的形式是在成本函数中增加一项变量平方和, 其中系数ρ大于0。
正则化最小二乘也可以转化为标准最小二乘问题。当待估计向量x的分布预先知道时,可以采用正则化的方法。
线性规划
单纯形法和内点法。