凸优化
chicwzh
这个作者很懒,什么都没留下…
展开
-
凸优化理论(1)
最近被迫学习了凸优化理论,感觉还是有点东西的,个人感觉机器学习的内核就是优化,如果该优化问题还能转成或者近似成凸优化那将是一个巨大的突破,因为凸函数的性质非常优秀,(拟)凸优化的理论研究也已经比较成熟。不过遗憾的是,我们的非凸优化问题理论尚不完,而在现在这个深度学习开始野蛮生成的时间点,显然非凸问题更加常见。不过非凸近似或者转换为凸问题也不失为一个不错的策略,所以凸优化理论的重要性不言而喻,特此对...原创 2019-05-01 19:37:57 · 9778 阅读 · 0 评论 -
凸优化理论(2)
上篇博客开始了我的凸优化之旅,介绍了凸集和凸函数的定义,这篇博客给出凸函数非常有用的性质和判别条件,并给出其数学证明,同时给出强凸函数定义。 首先勘误一下上篇博客关于严格凸的定义,其条件不是λ∈[0,1]\lambda \in [0,1]λ∈[0,1],而是λ∈(0,1)\lambda \in (0,1)λ∈(0,1) 1、性质1:局部最优就是全局最优 证明: 利用反证法进行证明,假设f(x∗)f...原创 2019-05-02 20:55:34 · 1026 阅读 · 0 评论 -
凸优化理论(3)
前情回顾 上篇文章给出了凸函数二阶条件,即对于凸集SSS上的函数fff为凸函数的充要条件为 ▽f(x)⪰0(x∈domf)\triangledown f(x)\succeq0\left(x\in domf\right)▽f(x)⪰0(x∈domf) 在次给出个人推导的证明,如有错误还请指出。 证明: 充分性: 首先列出凸函数定义式和一阶条件式 f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y...原创 2019-05-08 21:35:48 · 821 阅读 · 0 评论