机器学习笔记_数学基础_7-凸优化理论

原创 2015年11月20日 10:50:03

优化问题

minf0(x)
subjecttofi(x)bi,i=1,,m

x=(x1,,xn) 称为优化变量
f0称为目标函数
fi称为约束函数

  • 最小二乘问题 (无约束条件;目标函数是若干平和)

    minf0(x)=||Axb||22=ki=1(aTibi)2

  • 线性规划: 目标函数f0和约束函数f1,,fn均是线性函数

  • 凸优化: 目标函数f0和约束函数f1,,fn均是凸函数

    1. 线性凸优化
    2. 非线性凸优化
      a. 等式约束
      b. 无约束
      c. 不等式约束
  • 二次规划(QP) : 目标函数f0是凸且二次型;约束函数是仿射函数时(线性函数) => 二次规划

    min(12)xTPx+qTx+r
    subjecttoGxh;Ax=b

=> 二次规划等结余在多面体上极小化一个凸二次函数

  • 二次约束二次规划(QCQP): 目标函数和约束函数均是(凸)二次型

凸优化的基本理论

  • 凸集->凸函数->凸优化
  • 仿射集: 集合C内的任意两点的直线,仍在凸集=>仿射集(直线,平面,超平面)
  • 仿射包;内点;相对内点
  • 凸集: 集合C内的任意两点的线段,仍在集合
  • 锥;锥包(过原点的射线,射线族,角)

  • 超平面 :{x|aTx=b}

  • 半平面:{x|aTxb}
  • 多面体(仿射集,射线,线段,半空间)=> 多面体是凸集

  • 保凸运算

    1. 集合的交运算
    2. 仿射函数(类比线性运算)
    3. 透视函数(单位向量化,舍弃最后一个等于1的向量)
    4. 投射函数( 线性分段函数)
  • 分割超平面: 定义集合C和集合D最短线段的垂直平分线

  • 支持超平面: 集合C的边界上的点的切线(面)

凸函数基本问题

  • f(θx+(1θ)y)θf(x)+(1θ)f(y)

    1. f一阶可微; f(y)f(x)+f(x)T(yx); 一阶Taylor 展开为其下估计
    2. f二阶可微: f(x)2: (1)f 是一元函数,上式大于0; (2) f 多元函数,上式二阶Hessian半正定;
  • 上境图: 一个函数是凸函数,当且仅当其上境图是凸集

  • Jensen不等式:

    f(θ1x1++θkxk)θ1f(x1)++θkf(xk)

    <=> f(Ex)E(f(x))

  • 保凸运算
    1. 凸函数的非负加权:f(x)=ω1f1(x)++ωnfn(x)
    2. 仿射函数: g(x)=f(Ax+b)
    3. 凸函数逐点最大值,逐点上确界
    f(x)=max(f1(x),,fn(x));f(x)=supyAg(x,y)

    => 建立凸函数的方法: 将其表示为一族仿射函数的逐点上确界


  • 共轭函数

    f(y)=supxdomf(yTxf(x))
    右侧是关于y的仿射函数,对仿射函数逐点求上确界,则得到的函数 f(y)是凸函数


凸优化

  • minf0(x)
    S.t. fi(x)0,i=1,...,m; hj(x)=0,j=1,...p

  • 可行点(解);可行域;最优化值;最优化解

  • 凸优化的局部最优=全局最优


对偶问题

  • minf0(x)
    S.t. fi(x)0,i=1,...,m; hj(x)=0,j=1,...p

  • Lagrange
    L(x,λ,ν)=f0(x)+i=1mλifi(x)+j=1pνjhj(x)
    固定x,则 Lagrange是关于λν的仿射函数

  • Lagrange的对偶函数

    g(λ,ν)=infxD(f0(x)+i=1mλifi(x)+j=1pvihi(x))

  • 在可行域逐点求下确界,得到的 Lagrange的对偶函数是凹函数;

  • g(λ,ν)p => 对偶函数小于等于最优值


Lagrange函数图像族对偶函数

版权声明:本文为博主原创文章,未经博主允许不得转载。

(凸优化理论学习笔记2017/3/18)Theory of Convex Optimeization for Machine Learning(Sebatien Bubeck)

Section5.2: Smooth saddle-point representation of a non-smooth function Quite often the non-smoothne...

七月算法机器学习笔记3--凸优化

这套笔记是跟着七月算法四月机器学习班的学习而记录的,主要记一下我再学习机器学习的时候一些概念比较模糊的地方,具体课程参考七月算法官网: http://www.julyedu.com/  1. 无约...
  • thystar
  • thystar
  • 2016年05月21日 17:26
  • 3858

凸优化理论——无约束最优化方法 + Lagrange multipliers + KKT conditions

蛮久前学过了凸优化理论,今天要用到重温了一下。 只是mark一下优秀的博客~转自华夏35度的无约束最优化方法及 拉格朗日乘子法和KKT条件。 几个重要概念: 梯度:方向与等值面垂直,并且指向函数值...
  • Aewil
  • Aewil
  • 2016年03月22日 15:29
  • 788

机器学习笔记_数学基础_2-概率论

概率论 概率: P(X)∈[0,1]=>离散;连续P(X) \in [0,1] => 离散;连续 累积分布函数 Φ(x)=P(x)\Phi(x)=P(x)...

【ML学习笔记】1:机器学习中的数学基础1

机器学习分类[1]监督学习(SL)包括分类预测、回归分析等。监督学习中基于一个训练集(特征1,,特征2,…,特征n,已知目标)训练出一个监督学习算法,去计算仅知道特征的测试集(特征1,特征2,…,特征...

【ML学习笔记】2:机器学习中的数学基础2

琴生不等式下凸函数的一个良好的性质就是满足琴生不等式,因为: 它的加权形式即琴生不等式: 如果将这些权都视为概率,它们加起来为1,那么还能写成数学期望的形式: f(E(x))...

【ML学习笔记】5:机器学习中的数学基础5

向量/矩阵/张量向量向量可以表示成一维数组,每个分量可以理解为向量所表示的点在空间中坐标的分量。矩阵矩阵可以表示成二维数组,上节理解了矩阵可以理解为线性映射在特定基下的一种定量描述。张量张量可以表示成...

【ML学习笔记】4:机器学习中的数学基础4

线性空间线性空间即向量空间,如果空间中有一个原点O,那么空间中的所有点都可以用向量来表示,这些向量及其运算构成的即是向量空间。基基是线性空间里的一组向量,使得该线性空间中任何一个向量都可以唯一表示成这...

【ML学习笔记】6:机器学习中的数学基础6

对角矩阵对角矩阵不一定是个方阵,只要i≠j的位置元素值为0即可。但一般说对角矩阵,考虑的都是方阵的情况,对于方阵,那就是只有主对角线上的元素可以不为0,其它元素都是0。 主对角元从左上角到右下角的次...

机器学习之数学基础(概率与统计推断、矩阵、凸优化)

机器学习之数学基础包含《机器学习之概率与统计推断》4节+《机器学习之矩阵》3节+《机器学习之凸优化》3节...
  • ai100
  • ai100
  • 2017年07月24日 13:44
  • 312
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_7-凸优化理论
举报原因:
原因补充:

(最多只允许输入30个字)