收缩运算（Shrinkage）的扩展——L1范数优化替换为L2范数优化

最新推荐文章于 2024-05-13 12:52:03 发布

damlaoqi

最新推荐文章于 2024-05-13 12:52:03 发布

阅读量2.1k

点赞数 2

本文链接：https://blog.csdn.net/damlaoqi/article/details/87302582

版权

接着上一讲，我们继续考虑收缩运算（Shrinkage）的扩展，即如果L1范数优化替换为L2范数优化，是否依然能够得到简洁的解呢？

将L1范数更换为L2范数，考虑如下的优化问题：

$\begin{align*} \min_{ \mathbf{x}} &\quad \Vert \mathbf{x} \Vert_2 + \frac{1}{2\tau} \Vert\mathbf{x}-\mathbf{z} \Vert_2^2 \end{align*}$ （1）

上式关于变量x求导，得到一阶优化条件

$\begin{align*} \frac{\partial \mathcal{L}}{\partial \mathbf{x}} = &\quad \frac{\mathbf{x} }{ \Vert \mathbf{x} \Vert_2} + \frac{1}{\tau} (\mathbf{x}-\mathbf{z} ) = \mathbf{0} \end{align*}$ （2）

可得：

$\begin{align*} \mathbf{z}= &\quad \tau \frac{\mathbf{x} }{ \Vert \mathbf{x} \Vert_2} + \mathbf{x} \end{align*}$ （3）

根据该式可知z 与x 共线。也就是说，如下关系成立：

$\begin{align*} \frac{\mathbf{x} }{ \Vert \mathbf{x} \Vert_2} = \frac{\mathbf{z} }{ \Vert \mathbf{z} \Vert_2} \end{align*}$ （4）

根据(3)和(4)，可得问题(1)的最优解：

$\begin{align*} \mathbf{x}^*= \mathbf{z} - \tau \frac{\mathbf{z} }{ \Vert \mathbf{z} \Vert_2 } =\max(\Vert \mathbf{z} \Vert_2 - \tau , {0}) \cdot \frac{\mathbf{z} }{ \Vert \mathbf{z} \Vert_2 } \end{align*}$

damlaoqi

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
收缩运算（Shrinkage）的扩展——L1范数优化替换为L2范数优化

接着上一讲，我们继续考虑收缩运算（Shrinkage）的扩展，即如果L1范数优化替换为L2范数优化，是否依然能够得到简洁的解呢？将L1范数更换为L2范数，考虑如下的优化问题：（1）上式关于变量x求导，得到一阶优化条件（2） ...
复制链接

扫一扫