优化相关：近端算子与次梯度集合的关系

让我们深入理解近端算子${\text{prox}}_f(y)$的定义，及其与次梯度集合（subdifferential set$\partial f(x)$之间的关系。近端算子${\text{prox}}_f(y)$对于凸函数$f$和给定点$y$定义为：

$${\text{prox}}_f(y)=\arg \underset{x}{\min }\left\{f(x)+\frac{1}{2}\Vert x-y{\Vert }^2\right\}$$

这个优化问题的解$x={\text{prox}}_f(y)$意味着$x$是使函数$f(x)+\frac{1}{2}\Vert x-y{\Vert }^2$达到最小值的点。

从近端算子到次梯度的包含关系

考虑$x={\text{prox}}_f(y)$，我们首先证明$(y-x)\in \partial f(x)$。由于$x$最小化了上述表达式，根据次梯度的优化性质，$0$必须在这个最小化问题的次梯度中：

$$0\in \partial \left(f(x)+\frac{1}{2}\Vert x-y{\Vert }^2\right)$$

根据次梯度的定义和性质，对于函数$g(x)=f(x)+\frac{1}{2}\Vert x-y{\Vert }^2$，我们有：

$$\partial g(x)=\partial f(x)+x-y$$

因此，将0放入上述等式：

$$0\in \partial f(x)+x-y$$

这意味着：
$$y-x\in \partial f(x)$$

从次梯度包含关系到近端算子

现在，假设$(y-x)\in \partial f(x)$，我们需要证明$x={\text{prox}}_f(y)$。根据次梯度的定义，对于所有$z$，我们有：

$$f(z)\ge f(x)+⟨y-x,z-x⟩$$

加上$\frac{1}{2}\Vert z-y{\Vert }^2$到两边，我们得到：

$$f(z)+\frac{1}{2}\Vert z-y{\Vert }^2\ge f(x)+⟨y-x,z-x⟩+\frac{1}{2}\Vert z-y{\Vert }^2$$

注意到$⟨y-x,z-x⟩+\frac{1}{2}\Vert z-y{\Vert }^2=\frac{1}{2}\Vert z-x{\Vert }^2-\frac{1}{2}\Vert x-y{\Vert }^2$，所以我们可以简化上述不等式为：

$$f(z)+\frac{1}{2}\Vert z-y{\Vert }^2\ge f(x)+\frac{1}{2}\Vert x-y{\Vert }^2+\frac{1}{2}\Vert z-x{\Vert }^2-\frac{1}{2}\Vert x-y{\Vert }^2$$

简化得：

$$f(z)+\frac{1}{2}\Vert z-y{\Vert }^2\ge f(x)+\frac{1}{2}\Vert x-y{\Vert }^2$$

这意味着对于所有$z$，$x$是最小化$f(x)+\frac{1}{2}\Vert x-y{\Vert }^2$的点，即$x={\text{prox}}_f(y)$。

结论

$$x={\text{prox}}_f(y)\iff (y-x)\in \partial f(x)$$

因此，$x={\text{prox}}_f(y)$与$(y-x)\in \partial f(x)$是充分必要条件，它们可以互相推导出来。这一关系在凸优化和变分不等式理论中是基础性的，为理解和应用近端算子提供了重要的理论基础。