为什么Non-Convex Optimization受到了越来越大的关注？

最新推荐文章于 2024-08-29 16:57:08 发布
最新推荐文章于 2024-08-29 16:57:08 发布
阅读量347 收藏 1
点赞数 1
文章标签： 算法 机器学习 人工智能 深度学习 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzU2NTUwNjQ1Mw==&mid=2247507049&idx=2&sn=566f67c2642b5dd15670b70545791db6&chksm=fcb82493cbcfad85df7b91c80f815c292d08d57e15cfd8d063d234e8d6bb3596ce0f0b4cb28c&scene=126&&sessionid=0
版权

链接：https://www.zhihu.com/question/61034915

编辑：深度学习与计算机视觉

声明：仅做学术分享，侵删

作者：知乎用户

https://www.zhihu.com/question/61034915/answer/186419932

非凸优化本就该受到高度的关注，原因就如同上面“月光宝盒”说的一样，现实问题中凸问题测度为0，绝大多数优化问题都是非凸的。所以我觉得问题应该是，为什么非凸优化现在才开始受到越来越多的关注。凸优化与梯度方法紧密联系在一起，并不是因为梯度方法有多强，而是因为凸优化有多简单。其实优化的原理很简单，寻找关于最优解的信息，然后走向最优解。

凸优化之所以简单，那就是每一个局部点的（负）梯度方向都指向最优解，因此求导就知道该往哪个方向走。而非凸、尤其是有大量局部极值的非凸优化问题，梯度与最优解不再有什么关系，最多是指向局部极值，因此梯度方法在有许多局部极值的非凸问题上不再有效。上面有人讲了很多凸放松的例子，比如用L1范式代替L0、用nuclear norm代替rank等等，只有在很有限的范围下，这样的放松不会改变问题，更一般的情况，非凸问题进行凸放松，往往会改变原始问题。这是数学家最爱做的事，把不能解决的问题拉到能解决的范围。虽然优化变得好解了，然而离我们的目标可能更远了。

关于深度神经网络，似乎用梯度效果不错，是不是梯度方法就够了，可见最近ICML'17上的文章 “Failures of Gradient-Based Deep Learning“。所以，优化是学习最重要的部分吗？我觉得不是，学习可以看作“表示+评价+优化”，优化只是学习的实施工具，泛化才是最关键的问题，如何设计更好的数据表示、更好的模型结构、更好的目标，以取得更好的泛化能力，是更需要考虑的问题。然而，当我们只有梯度这一种实施工具的时候，表示得想着线性、模型要顾着简单、目标最好是凸的，削足适履，牺牲了设计机器学习系统的自由，失去了更多的可能性。非凸优化的研究，是否是在凸优化的基础上继续往前走就可以解决，凸优化是否是非凸优化的基础，我感觉不会。两者是性质差别巨大，会搭积木也不是会盖大楼的基础，不同的问题需要有不同的方法。顺便推销一下，其实有另一类优化方法——“非梯度优化”，更适合非凸优化问题。

可见 https://www.zhihu.com/question/38677354/answer/151325951 这一类方法已显示出很好可用性，但还有很多富有挑战的问题有待研究。

作者：知乎用户
https://www.zhihu.com/question/61034915/answer/184827099

非凸优化的发展很大程度上得益于凸优化的分析技巧的成熟，从算法设计，最优条件到最坏复杂度分析都离不开凸分析的技巧。事实上，很多凸分析大牛是非凸优化快速发展的推动者，比如最优一阶算法大师Nesterov。

具体来说，凸分析(注意:我这里强调的是对问题的分析，而不是设计具体的求解算法)是非凸分析的基础，凸优化里有许多学术上理解比较透彻完整的基本问题，从这里基本问题出发，去逼近和分析非凸问题(比如压缩感知这一类问题)，甚至很多非凸问题本身就有隐藏的凸性(几何规划，约束较少的QCQP)，利用非凸形式和隐藏凸性之间的联系可以挖掘很多深刻内容。这几年NIPS，ICML上的很多论文都是这个思路，比如分析压缩感知，矩阵填充，相位恢复，神经网络训练等问题的spurious local minima。其中的一个基本套路就是假设非凸问题具有Restricted Smoothness和Restricted Strong Convexity，然后证明所有的local minima都是Global optima。

从学习理论分析的工具角度来看，首先还是要掌握凸分析的基本工具，比如凸集的支撑平面和分离平面以及切锥和法锥，Fenchel的共轭分析，对偶原理。洛克菲勒的convex analysis是这方面的永恒经典。

学术上对非凸问题的理解还很浅薄，甚至连最优条件都无法给出或者无法有效验证。特别是实际中局部优化算法在大多数典型案例上优秀的表现与理论上非凸问题的NP-Hardness性质之间的差异，让人百思不得其解。如果有生之年能见证有人给出这个问题的有效的解答，就不枉在这个时代走一遭了。

作者：小熊熊
https://www.zhihu.com/question/61034915/answer/184550783

凸函数有个性质是所有局部最优解都是全局最优解，所有最优解都连成一片，nn每一层的hidden节点都是等价的，可互换的，而这些可互换的模型对应的参数显然不能连成一片，还有可以从凸函数的二阶条件来证明，但是想证明nn 的Hessian不是半正定很难，反过来说如果nn 的hessian为正定，就不需要开发gauss-newton等二阶算法了。

凸优化的理论基本成型了，那这么多搞optimization的博士要等着毕业，不搞非凸优化还能干啥？

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓

abd656f97a0b9f51e21ed2fd1418b9fd.png

woshicver
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Prateek Jain, Purushottam Kar《Non-convex Optimization for Machine Learning》的总结整理(2)
weixin_45013329的博客
06-24 1028
第二章非凸优化的基本算法 三（2）（接上一排序）、PGD求解非凸问题 对于非凸问题的求解前面已经提到是NP难的，但对于有特殊结构的非凸问题可以很好的求解。主要求解三个方面的问题：1、约束集是非凸的，投影本身是NP难的（因为投影本身是一个非凸优化，见前面投影的定义）但有特殊结构，投影可以很好的处理。例如（稀疏恢复的例子）投影到稀疏向量集， 可以求解（相当于截断），其中 。（推荐系统的例子）投影到低秩矩阵集，可以利用SVD。2、目标函数非凸，但有特殊结构。 第一章中，给出了目标函数是凸的且梯度有界函数的收敛性，
为什么 Non-Convex Optimization （非凸优化）受到了越来越大的关注？
weixin_34277853的博客
12-04 7763
2019独角兽企业重金招聘Python工程师标准>>> ...
Non-convex Optimization for Machine Learning 之七（non-convex 收敛性保证证明）
weixin_45690942的博客
09-05 423
关于书上第三部分 Theorem 3.3 的证明的整理 P32
Non-convex Optimization for Machine Learning 之四（PGD 收敛性证明）
weixin_45690942的博客
09-04 216
关于书上第二部分P24对于Theorem 2.5 的证明的整理
Non-convex Optimization for Machine Learning 之一（一些数学符号的定义）
weixin_45690942的博客
09-01 436
关于此论文里面的一些数学符号的定义
非凸优化问题的几种经典解法
热门推荐
pengmingjv的博客
01-08 1万+
在研究中，对于非凸问题进行优化通常有以下三种传统的方法 一、块坐标下降法 在每次迭代的过程中，只针对一个变量进行优化求解，其余变量保持不变，然后交替求解。 二、逐次凸逼近法 将目标函数在定点进行一阶泰勒展开，然后构建近似函数，近似函数代替原目标函数进行求解。 三、松弛变量引入法 引入松弛变量，将原目标函数中难以解决的公式部分用松弛变量代替，使目标函数变为凸函数。 ...
The convergence guarantees of a non-convex approach for sparse recovery using regularized least squares
02-22
BPDN方法采用L1范数作为惩罚项，L1范数是凸的，并且在理论上可以保证稳定恢复稀疏信号，但是它在实际应用中可能会受到噪声的影响。因此，研究者们开始考虑使用非凸惩罚项，因为非凸方法在某些情况下可能更有效地促进...
Ceres Solver 官方教程学习笔记（十三）——非线性最小二乘问题的解算Solving Non-linear Least Squares （上）
小政哥的私房博客
04-19 7291
介绍 如果想要高效地使用Ceres Solver，需要掌握一定的非线性最小二乘解算基础知识。所以在这一部分将将要介绍Ceres中核心优化算法的工作原理。 设x∈Rnx∈Rnx \in \mathbb{R}^n是一个nnn维向量，并且F(x)=[f1(x),...,fm(x)]⊤F(x)=[f1(x),...,fm(x)]⊤F(x) = \left[f_1(x), ... , f_{m}(x)...
论文阅读--An overview of gradient descent optimization algorithms
qq_27009517的博客
01-16 1217
An overview of gradient descent optimization algorithms∗ Abstract 梯度下降法（Gradient Descent）优化算法，越来越受欢迎，通常用作black-box优化器，但是实践证明他们的优点和缺点都很难克服。本文旨在提供不同算法的表现，主要是梯度下降法的变体，总结了解决问题的挑战，介绍了常见的优化算法，而且调查了优化梯度下降方法的...
A Survey of Optimization Methods from a Machine Learning Perspective
Miracle0614的博客
11-28 1442
A Survey of Optimization Methods from a Machine Learning Perspective 机器学习视角优化方法的综述 机器学习小白，读了一篇近年关于优化方法的综述，记录的同时也给大家分享一下 原文地址：https://arxiv.org/abs/1906.06821 Abstract摘要 机器学习发展迅速，在理论上取得了许多突破，并广泛应用于各个领域...
NLR-CS 学习笔记
AZSNCRM的博客
07-04 1323
基于非局部低秩正则化的压缩感知——学习笔记 RIP压缩感知测量矩阵之有限等距性质 https://blog.csdn.net/jbb0523/article/details/44565647 奇异值分解 https://www.cnblogs.com/endlesscoding/p/10033527.html 奇异值分解与实对称矩阵的特征值分解有很深的联系。 EVD——对于实对称矩阵An∗nA_{n*n}An∗n​，可将其分解为A=QΛQTA=Q\Lambda Q^{T}A=QΛQT，其中Λ\La
凸优化—凸松弛（Convex Relaxation）
技术并不是我们的全部
07-05 6452
字体 希腊字母 a. 小写 （Lower Case） 语法 效果 语法 效果 语法 效果 语法 效果 \alpha α\alphaα \beta β\betaβ \gamma γ\gammaγ \delta δ\deltaδ \epsilon ϵ\epsilonϵ \zeta ζ\zetaζ \eta η\etaη \theta θ\thetaθ \lambda λ\lambdaλ \mu μ\muμ \nu ν\nuν \xi ξ\xiξ \pi π\piπ \rho ρ\rh
An overview of gradient descent optimization algorithms
Leo的博客
03-28 3681
转载自：http://sebastianruder.com/optimizing-gradient-descent/ Table of contents: Gradient descent variants Batch gradient descent Stochastic gradient descent Mini-batch gradient descent
Pytorch Optimization
lib0000的博客
05-24 517
文章目录Optimizertorch.optimPytorch Lightning Optimizer torch.optim 每个 optimizer 中有一个 param_groups 维护一组参数更新，其中包含了诸如学习率之类的超参数。通过访问 pprint(opt.param_group)可以查看或者修改 [ {'dampening': 0, 'lr': 0.01, 'momentum': 0, 'nesterov': False, 'params': [Parameter con
Deep Learning 优化方法总结
u014114990的专栏
08-19 5433
http://blog.csdn.net/lien0906/article/details/47399823 摘自本博客  在 15年八月份， caffe中又增加了ADAM 方法。  Stochastic Gradient Descent (SGD) SGD的参数 在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数: Learning
算法的学习笔记—连续子数组的最大和
最新发布
业精于勤，荒于嬉
08-29 1035
通过上述的动态规划方法，我们能够有效地解决连续子数组的最大和问题。该方法简单易懂，并且具有较高的效率，适合在大多数情况下使用。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybits🤔欢迎大家加入我的社区尘觉社区文章到这里就结束了，如果有什么疑问的地方请指出，诸佬们一起来评论区一起讨论😁如果帮助到您不妨3连支持一下，创造不易您们的支持是我的动力🤞。
递归、搜索与回溯算法
无聊_人的博客
08-29 538
所谓的递归其实就是函数自己调用自己的情况。
力扣（无重叠区间）
yyssas的博客
08-29 483
先按照左侧数字排序，然后对于i位置和i+1位置，如果i位置右侧数字大于i+1位置左侧数字，则说明这两个区间有重叠，则需要移除更可能和后面重叠的那一个，因为排序是按照左边从小到大排序的，所以左边一定是小的，此时要关注的就是右边，也就是选择i和i+1右侧更小的那个，即右侧大的那个删除。一直到右侧小于k的左侧停止，此时剩下的一定是不会重叠的那个。需要移除区间的最小数量，使剩余区间互不重叠。
7-7 数组中能被5整除的数的和
Virgo_616的博客
08-26 483
在一维数组中有10个整数，求出其中能被5整除的所有数的和。
深度学习中的非凸优化：Non-convex Optimization for Machine Learning
"Non-Convex Optimization for Machine Learning" 是一本专注于非凸优化在机器学习领域应用的书籍，由Prateek Jain和Purushottam Kar撰写。这本书主要探讨了深度学习和其他复杂模型中常见的非凸优化问题，并提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值