【First-order Methods】 3 Subgradients 1

最新推荐文章于 2020-02-08 11:32:06 发布

xzen

最新推荐文章于 2020-02-08 11:32:06 发布

阅读量852

点赞数 1

分类专栏：一阶方法文章标签： First-order Methods

本文链接：https://blog.csdn.net/weixin_38716567/article/details/83350317

版权

12 篇文章 17 订阅

订阅专栏

参考文献：first-order methods in optimization- Amir Beck

1次梯度定义
2次微分（集合）的性质次可微性次梯度集合的重要性质

3方向导数【定义在intdomf上的】、max forluma、若x不在intdomf则必然得到的是比max forluma弱的结果

4可微【定义在intdomf上的】

Def 3.1（次梯度） $f:E\rightarrow (-\infty,+\infty]$ 是proper的， $x\in dom(f)$ 。 $g\in E^{*}$ 被称作f在x上的次梯度，如果满足

$y \notin dom(f)$ 时式子显然成立，可以写成

对某个x，都有很多g满足上式。整理成集合:

在x处的次梯度的集合（每个次梯度都是对任意y成立）=在x处固定y 的割线斜率集合最后取并

我们说f在x上是次可微的，如果在上述定义下的次微分集合是非空的。

定义次可微点的集合：

f proper convex，x在dom(f)内部，则f在x处是次可微的而且次梯度的集合有个界【非线性优化多了次梯度的集合是闭且max formula成立的结果】

比较
f	x	domf	ridomf	intdomf
proper ,convex		$\exists x\,\, in \,\,domf,s.t. \,\, \partial f\,\, is \,\, nonempty$	$\forall x\,\, in \,\,ridomf,s.t. \,\, \partial f\,\, is \,\, nonempty$	$\forall x\,\, in \,\,intdomf,s.t. \,\, \partial f\,\, is \,\, nonempty\, and \,it's\,closed,\,bounded,\,max\,formula$
值得注意的是，次梯度是定义在domf上的,f proper