【通俗理解】凸优化

640?wx_fmt=png

注:以下内容参考了Shu-Cherng Fang教授2009年在清华的夏季学期课程《Global Optimization with Applications》讲义。


今天介绍一点凸优化方面的知识~内容可能有点无聊,看懂了这篇文章,会对求极值和收敛有进一步理解,比如:

  1. 了解为什么向量机(SVM)等的推导中,求极值时可以把约束条件加在目标函数后面来变成一个无约束的优化问题。

  2. 理解EM算法(聚类,GMM等)为什么收敛。


之前文章有介绍过,一个算法有效至少要满足两个条件:1)极值存在,2)收敛。极值不存在说明模型无效,算法无意义。算法不能收敛意味着找不到极值,也没有价值。这两个问题凸优化都可以帮我们回答。


在开始之前,我们先来回顾一下支持向量机(SVM)的推导过程。

640?wx_fmt=jpeg

SVM的任务就是寻找这样一个超平面H把样本无误地分割成两部分,并且使H1和H2的距离最大。要找到这样的超平面,只需最大化间隔Margin,也就是最小化w^2。

640?wx_fmt=gif

然后直接告诉你:对于不等式约束的条件极值问题,可以用拉格朗日方法求解。而拉格朗日方程的构造规则是:用约束方程乘以非负的拉格朗日系数,然后再从目标函数中减去。于是得到拉格朗日方程如下:

640?wx_fmt=gif

为什么可以这样做?看完本文你就能理解了。



凸集合与凸函数:在前面一篇党给我智慧给我胆,梯度给我努力的方向中,已经说明了梯度的作用,并指出个人的行为都自觉或无意地顺着梯度方向。


这不难理解。如果让一个蒙上眼睛的人去山顶,他自然会选择海拔升高的方向行走。至于最后能不能到达,要看地形。要是一个土丘(凸函数)那没问题,如果要是连绵不断的群山(非凸函数),只能保证到达一个小山峰(极值),而这个不一定是所有山峰中最高的(最值)。


由于凸函数的极值点就是最值点,相对于非凸函数,我们更喜欢凸函数。这里不但要求目标函数是凸的,其定义的空间也必须是凸的集合。正如要求地形是凸的,能走的路构成的集合也必须是凸的。


凸凸凸,到底啥是凸集合,啥是凸函数???


凸集合:满足集合内任意两点的连线也在这个集合里的就是凸集合。凸集合有个有趣的separating性质,以二维空间为例,任意一点y不属于这个凸集合,则一定存在一条直线把这个点和凸集合分开。


凸函数:下面两个图画出了凸函数,也给出了凸函数的两个性质:

  1. 两点永远太高

  • 3
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 凸优化是一种数学理论和方法,被广泛应用于工程、经济学、控制论等领域。凸优化的目标是求解一个凸优化问题,即优化问题中的目标函数和约束条件都是凸函数。凸函数是一类具有很好性质的函数,其局部最优解也是全局最优解,因此凸优化问题相对易于求解。 《凸优化》中文版pdf是凸优化领域的经典教材,由美国斯坦福大学的教授Stephen Boyd和Lieven Vandenberghe合著。该书详细介绍了凸优化的基本理论和方法,并提供了大量的例子和应用。 《凸优化》中文版pdf以清晰的逻辑和严密的推导,系统地介绍了凸优化的核心概念和算法。主要内容包括凸集、凸函数、凸优化问题的性质、对偶问题、梯度下降法、牛顿法等,以及一些应用于机器学习、信号处理等领域的具体案例。 这本书不仅适合凸优化的研究者和学生,也适用于对优化问题感兴趣的读者。该书语言简洁明快,通俗易懂,即使没有深厚的数学背景,读者仍可从中获益良多。 总而言之,《凸优化》中文版pdf是一本详尽且经典的凸优化教材,对于研究凸优化问题、提高数学建模和求解能力具有重要意义。无论是学术界的研究者,还是工程技术人员,都可以从中获得启发和指导。 ### 回答2: 凸优化是数学中的一类重要问题,其最基本的思想是通过对凸函数的优化来求解最优化问题。凸函数具有很多优良的性质,因此凸优化问题的解可以通过对凸函数的性质进行分析来得到。 《凸优化》这本中文版pdf是对凸优化理论和方法的深入讲解和介绍。该书作者认为凸优化是现代优化理论与方法的核心内容,所以在书中对凸优化的理论和方法做了详细且全面的阐述。 该书首先从凸集和凸函数的基本定义开始,介绍了凸集和凸函数的性质和判定方法,接着引入了凸优化的一般形式和凸优化问题的基本要素,如目标函数、约束条件等。然后,对凸优化问题的最优性条件和最优性判定方法进行了讨论,包括凸优化问题的一阶和二阶最优性条件。 书中还介绍了凸优化问题的求解方法,包括线性规划、二次规划、半定规划等方法。对于这些方法,书中提供了详细的数学推导和算法描述,并给出了一些实际问题的应用案例。此外,书中还介绍了一些近年来发展起来的凸优化方法,如内点法等。 总的来说,《凸优化》这本中文版pdf是一本很好的凸优化教材,无论是对于凸优化理论还是凸优化方法都做了全面的介绍。它对于研究者和学习者来说都是一本很有价值的参考书籍。无论是想学习凸优化的基本概念和方法,还是想深入研究凸优化理论,这本书都能给你提供很大的帮助。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值