机器学习模型优化方式之---------凸函数与拉格朗日乘子法(待补充)

凸函数

 对于一元函数f(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)为凸函数(convex function)

 

                                                                  

判断一个函数是否是凸函数?

 对于一元函数f(x),我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负,即f′′(x)≥0 ,则f(x)是凸函数

 对于多元函数f(X),我们可以通过其Hessian矩阵(Hessian矩阵是由多元函数的二阶导数组成的方阵)的正定性来判断。

凸优化

       凸优化问题的局部极小值是全局极小值

我们观察下面两幅图,形象感受一下为什么凸优化问题的局部最优解是全局最优解,(1) 从下图可以看出当函数不是凸函数时,当对非凸函数f(x)进行最优化时,便可能得到局部最优解,无法获得全局最优解

(2) 从下图可以看出当目标函数可行域是非凸时,则此时对函数进行优化时也可能错过全局最优解

凸优化定义

一个凸优化问题可描述为:

 凸函数的定义是 如下所示,对x的约束集C是一个凸集

                               

凸优化的定义为:

                              

约束条件变为一些列凸集的交集,即g(x) 和h(x),g(x) 是一个凸函数,h(x) 是仿射函数

(1)目的是求解目标函数的最小值;

(2)目标函数f(x)和不等式约束函数g(x)都是凸函数,定义域是凸集;

(3)若存在等式约束函数,则等式约束函数h(x)为仿射函数;仿射函数指的是最高次数为1的多项式函数,一般形式为f(x)= Ax + b,A是m*k矩阵,x是一个k向量,b是一个m向量

(4)凸优化问题有一个良好的性质即:局部最优解便是全局最优解

 

常用的凸优化求解方法

1、梯度下降方法

3、牛顿法

4、拉格朗日对偶问题求解(等式约束凸优化问题求解&不等式约束凸优化问题求解)

等等

梯度下降

最小二乘法

 

拉格朗日乘子法

基本的拉格朗日乘子法(又称为拉格朗日乘数法),就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=0 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ (即拉格朗日乘子),将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。

详解查看

https://www.cnblogs.com/ooon/p/5721119.html

应用 拉格朗日乘子优化问题主要应用于SVM最优解的求解上

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值