l_q范数的理论性质

烟雨霄灯

已于 2023-07-19 09:37:50 修改

阅读量470

点赞数

分类专栏：非凸优化文章标签：算法机器学习人工智能

于 2023-07-19 09:37:07 首次发布

本文链接：https://blog.csdn.net/a13278450/article/details/131801321

版权

文章探讨了l_q范数在实现稀疏结构和正则化问题中的应用，包括约束形式和拉格朗日形式的l_q正则化问题。通过引理和定理，建立了预测误差与估计误差之间的关系，给出了估计误差界的界限，并讨论了受限特征值条件对理论性质的影响。这些理论结果对于理解和优化高维数据的线性回归模型具有重要意义。

摘要由CSDN通过智能技术生成

$l_q$ 范数的理论性质

预备知识

$l_q$ 范数介绍

实现稀疏结构的 $l_q$ 范数形式为：
$\|\beta\|_{q}:=\left(\sum_{i=1}^{n}\left|\beta_{i}\right|^{q}\right)^{1 / q}.$

$l_q$ 正则化问题

同lasso一样，我们考虑以下两种类型的 $l_q$ 正则化问题：

约束形式的 $l_q$ 正则化问题
$\min \|\beta\|_{q} \quad \text { s.t. } \quad\|y-X \beta\|_{2} \leq \epsilon.$
拉格朗日形式的 $l_q$ 正则化问题
$\min \frac{1}{2 m}\|y-X \beta\|_{2}^{2}+\lambda\|\beta\|_{q}^{q}.$

REC受限特征值条件

Lasso中也有类似的条件，用于建立预测误差与估计误差之间的关系，如受限特征值条件及受限等距性质等。对设计矩阵 $X$ ， $\leq s \leq t \leq n$ 以及 $\leq n$ 有：
$\phi_{q}(s, t, a, X):=\min \left\{\frac{\|X \delta\|_{2}}{\left\|\delta_{J}\right\|_{2}}:|J| \leq s,\left\|\delta_{J^{c}}\right\|_{q}^{q} \leq a\left\|\delta_{J}\right\|_{q}^{q}\right\}.$
其中， $J$ 是 $\beta$ 的支撑集。

一些有用的引理

为了使证明思路更清晰，我们将最终重要定理的某些部分拆成几个小的引理，用于辅助证明。

引理1：对 $n$ 维向量 $\alpha$ , $\beta$ ，以下关系成立：

$\|\beta\|_{q_{2}} \leq\|\beta\|_{q_{1}} \leq n^{\frac{1}{q_{1}}-\frac{1}{q_{2}}}\|\beta\|_{q_{2}} \quad \text { for any } 0<q_{1} \leq q_{2}<+\infty,$

$\|\alpha\|_{q}^{q}-\|\beta\|_{q}^{q} \leq\|\alpha+\beta\|_{q}^{q} \leq\|\alpha\|_{q}^{q}+\|\beta\|_{q}^{q} \quad \text { for any } 0<q \leq 1.$

引理2：令 $\hat{\beta}$ 为拉格朗日形式正则化问题的最优解，则

$\frac{1}{2 m}\left\|X \beta^{*}-X \hat{\beta}\right\|_{2}^{2} \leq \lambda\left\|\beta^{*}\right\|_{q}^{q}-\lambda\left\|r\hat{\beta}\right\|_{q}^{q}+\frac{1}{m}\left\|\hat{\beta}-\beta^{*}\right\|_{1}\left\|X^{\top} e\right\|_{\infty}.$