凸优化相关概念学习笔记

前言

由于凸优化具有一些很好的性质,比如:

  • 凸问题中的局部最优解就是全局最优解

  • 凸优化理论中的拉格朗日对偶为凸优化算法的最优性与有效性提供了保证

并且,在机器学习中的很多模型在先辈们的研究下,正好符合凸优化模型。在大多数优化问题中,只要转化为凸问题,那么基本上是可以解决的。

凸优化问题中的基本概念与性质

凸集的概念

集合C内任意两点间的线段均在集合C内,则称集合C为凸集。

x1,x2C,θ[0,1],θx1+(1θ)x2C
x1,x2,...,xkC,θi[0,1]i=1kθixi=1,i=1kθixiC

凸函数的概念

f:RnR,D(f),D(f)x,y,

f(θx+(1θy))θf(x)+(1θ)f(y)

那么就称f为凸函数

保持凸性的运算

  • 集合交运算——
    任意多个凸集的交集为凸集。
  • 仿射变换——
    仿射变换f(x)=Ax+b,ARm×n,bRm
    伸缩,平移,投影
    f是仿射变换,f:RnRm,f(S)={f(x)|xS}
    若S为凸集,则f(S)
    f(S)S

优化问题的基本形式

minxf0(x),xRn
s.t.fi(x)0,i=1,2,...,m
hi(x)=0,i=1,2,...,p

凸优化问题的基本形式

minxf0(x),xRn
s.t.fi(x)0,i=1,2,...,m
hix=0,i=1,2,...,p

fi(x)0,i=1,2,...,m为凸函数,hi(x)=0,i=1,2,...,p为仿射函数,其中,可行域为凸集。

展开阅读全文

没有更多推荐了,返回首页