机器学习笔记_数学基础_7-凸优化理论

原创 2015年11月20日 10:50:03

优化问题

minf0(x)
subjecttofi(x)bi,i=1,,m

x=(x1,,xn) 称为优化变量
f0称为目标函数
fi称为约束函数

  • 最小二乘问题 (无约束条件;目标函数是若干平和)

    minf0(x)=||Axb||22=ki=1(aTibi)2

  • 线性规划: 目标函数f0和约束函数f1,,fn均是线性函数

  • 凸优化: 目标函数f0和约束函数f1,,fn均是凸函数

    1. 线性凸优化
    2. 非线性凸优化
      a. 等式约束
      b. 无约束
      c. 不等式约束
  • 二次规划(QP) : 目标函数f0是凸且二次型;约束函数是仿射函数时(线性函数) => 二次规划

    min(12)xTPx+qTx+r
    subjecttoGxh;Ax=b

=> 二次规划等结余在多面体上极小化一个凸二次函数

  • 二次约束二次规划(QCQP): 目标函数和约束函数均是(凸)二次型

凸优化的基本理论

  • 凸集->凸函数->凸优化
  • 仿射集: 集合C内的任意两点的直线,仍在凸集=>仿射集(直线,平面,超平面)
  • 仿射包;内点;相对内点
  • 凸集: 集合C内的任意两点的线段,仍在集合
  • 锥;锥包(过原点的射线,射线族,角)

  • 超平面 :{x|aTx=b}

  • 半平面:{x|aTxb}
  • 多面体(仿射集,射线,线段,半空间)=> 多面体是凸集

  • 保凸运算

    1. 集合的交运算
    2. 仿射函数(类比线性运算)
    3. 透视函数(单位向量化,舍弃最后一个等于1的向量)
    4. 投射函数( 线性分段函数)
  • 分割超平面: 定义集合C和集合D最短线段的垂直平分线

  • 支持超平面: 集合C的边界上的点的切线(面)

凸函数基本问题

  • f(θx+(1θ)y)θf(x)+(1θ)f(y)

    1. f一阶可微; f(y)f(x)+f(x)T(yx); 一阶Taylor 展开为其下估计
    2. f二阶可微: f(x)2: (1)f 是一元函数,上式大于0; (2) f 多元函数,上式二阶Hessian半正定;
  • 上境图: 一个函数是凸函数,当且仅当其上境图是凸集

  • Jensen不等式:

    f(θ1x1++θkxk)θ1f(x1)++θkf(xk)

    <=> f(Ex)E(f(x))

  • 保凸运算
    1. 凸函数的非负加权:f(x)=ω1f1(x)++ωnfn(x)
    2. 仿射函数: g(x)=f(Ax+b)
    3. 凸函数逐点最大值,逐点上确界
    f(x)=max(f1(x),,fn(x));f(x)=supyAg(x,y)

    => 建立凸函数的方法: 将其表示为一族仿射函数的逐点上确界


  • 共轭函数

    f(y)=supxdomf(yTxf(x))
    右侧是关于y的仿射函数,对仿射函数逐点求上确界,则得到的函数 f(y)是凸函数


凸优化

  • minf0(x)
    S.t. fi(x)0,i=1,...,m; hj(x)=0,j=1,...p

  • 可行点(解);可行域;最优化值;最优化解

  • 凸优化的局部最优=全局最优


对偶问题

  • minf0(x)
    S.t. fi(x)0,i=1,...,m; hj(x)=0,j=1,...p

  • Lagrange
    L(x,λ,ν)=f0(x)+i=1mλifi(x)+j=1pνjhj(x)
    固定x,则 Lagrange是关于λν的仿射函数

  • Lagrange的对偶函数

    g(λ,ν)=infxD(f0(x)+i=1mλifi(x)+j=1pvihi(x))

  • 在可行域逐点求下确界,得到的 Lagrange的对偶函数是凹函数;

  • g(λ,ν)p => 对偶函数小于等于最优值


Lagrange函数图像族对偶函数

版权声明:本文为博主原创文章,未经博主允许不得转载。

凸优化理论介绍

因为本人近期在学习凸优化的内容,所以决定第一篇帖子写一些关于凸优化理论的相关介绍,希望对那些对凸优化有兴趣的同学和初学者有帮助。   首先想要和大家说的是,凸优化听上去是一门很高深的数学理论,其实学...
  • RubyBoss
  • RubyBoss
  • 2017年05月30日 20:37
  • 997

凸优化理论——无约束最优化方法 + Lagrange multipliers + KKT conditions

蛮久前学过了凸优化理论,今天要用到重温了一下。 只是mark一下优秀的博客~转自华夏35度的无约束最优化方法及 拉格朗日乘子法和KKT条件。 几个重要概念: 梯度:方向与等值面垂直,并且指向函数值...
  • Aewil
  • Aewil
  • 2016年03月22日 15:29
  • 924

最优化理论与凸优化到底是干嘛的?

凸优化的定义 1.1 凸优化 1.2 全局最优化与局部最优化 Least-squares and linear programming(最小二乘与线性规划) 2.1 最小二乘 2.2 线性规划...
  • qq_39422642
  • qq_39422642
  • 2017年12月15日 20:47
  • 323

(凸优化理论学习笔记2017/3/18)Theory of Convex Optimeization for Machine Learning(Sebatien Bubeck)

Section5.2: Smooth saddle-point representation of a non-smooth function Quite often the non-smoothne...
  • david8766
  • david8766
  • 2017年03月18日 19:07
  • 356

凸优化相关概念学习笔记

前言 由于凸优化具有一些很好的性质,比如: 凸问题中的局部最优解就是全局最优解 凸优化理论中的拉格朗日对偶为凸优化算法的最优性与有效性提供了保证 并且,在机器学习中的很多模型在先辈们的研究下...
  • bingo_csdn_
  • bingo_csdn_
  • 2017年10月06日 17:47
  • 66

凸优化理论教材

  • 2016年01月26日 09:25
  • 5.73MB
  • 下载

凸优化(convex optimization)第二讲:convex set

Convex opt  第二讲(convex set) Affine set affine set 表示经过两点的一条线,这条线满足: 相较于后面我们要讨论的convex set,这里少了...
  • u012175010
  • u012175010
  • 2014年01月31日 09:52
  • 8328

凸优化

凸优化由于在SVM等各种地方都会用凸优化来解决问题,所以本篇博客将系统的介绍凸优化如何做,以及一些常见的问题。 基本概念仿射集(Affine Set)定义:通过集合C中任意两个不同点的直线仍然在集合...
  • u010161630
  • u010161630
  • 2016年06月23日 13:17
  • 1317

机器学习中的凸优化问题

凸集的定义为:      其几何意义表示为:如果集合C中任意2个元素连线上的点也在集合C中,则C为凸集。其示意图如下所示:      常见的凸集有:   n维实数空间;一些范数约束形式的集合;仿射子空...
  • chlele0105
  • chlele0105
  • 2013年10月02日 18:39
  • 20667

凸优化学习笔记(一)之数学基础

范数 內积、角度 设x,y∈Rn\boldsymbol{x},\boldsymbol{y}\in \mathbb{R}^n,则x\boldsymbol{x}与y\boldsymbol{y}的內积定...
  • u012284960
  • u012284960
  • 2017年05月27日 22:44
  • 483
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_7-凸优化理论
举报原因:
原因补充:

(最多只允许输入30个字)