最近被迫学习了凸优化理论，感觉还是有点东西的，个人感觉机器学习的内核就是优化，如果该优化问题还能转成或者近似成凸优化那将是一个巨大的突破，因为凸函数的性质非常优秀，（拟）凸优化的理论研究也已经比较成熟。不过遗憾的是，我们的非凸优化问题理论尚不完，而在现在这个深度学习开始野蛮生成的时间点，显然非凸问题更加常见。不过非凸近似或者转换为凸问题也不失为一个不错的策略，所以凸优化理论的重要性不言而喻，特此对最近的学习作一记录，由于刚刚入门，如有错误，还请批评指正。
凸函数定义
关于凸函数的定义，个人总结了2种定义：
1、如果函数 f f f的上镜图 e p i f epif epif为凸集则，函数 f f f为凸函数。（来自于convex analysis）
这里又引申出2个问题，什么是函数上镜图；凸集是什么？
首先，凸集的定义,对于集合S，如果满足：
∀ x , y ∈ S , λ ∈ [ 0 , 1 ] , λ x + ( 1 − λ ) y ∈ S \forall x,y\in S, \lambda \in [0,1],\lambda x+(1-\lambda)y\in S ∀x,y∈S,λ∈[0,1],λx+(1−λ)y∈S
则S为凸集。直观的理解就是凸集内的点通过加法和乘法无法逃出这个集合；或者说 x , y x,y x,y 2个点构成的线段上任意一点还在该集合内。
然后关于什么是上镜图这个问题我也还没有搞清楚，留作标记。百度上说是值大于函数值的点构成的区域为该函数的上镜图，但关
最低0.47元/天 解锁文章
8748
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
