distance to convex cone

基本定义

定义1： 给定$1\le K\le N$，定义凸锥(convex cone):
D = { x ∣ 1 T x = 0 , x 1 : N − K ≤ 0 , x ∈ R N } \mathrm{D} = \{ \boldsymbol x | \boldsymbol 1^T \boldsymbol x =0, x_{1: N-K} \leq 0, \boldsymbol x \in \mathbb R^N \} D={x∣1Tx=0,x1:N−K​≤0,x∈RN}

定义2： 若$\mathbf{g}\in {\mathbb{R}}^N$是一个高斯向量，且$\mathbf{g}\sim \mathcal{N}(0,{\mathbf{I}}_N)$，定义$\mathbf{g}$到凸锥$\mathrm{D}$的映射为：
$$\mathbf{x}={\Pi }_{\mathrm{D}}(\mathbf{g}),\mathbf{g}\sim \mathcal{N}(0,{\mathbf{I}}_N)$$

其中$\mathbf{x}\in {\mathbb{R}}^N$为$\mathbf{g}$映射到$\mathrm{D}$的向量。

定义3：凸锥$\mathrm{D}$的统计维数(Statistical Dimension)可以定义为：
$$\delta (\mathrm{D})=\mathbb{E}\left[{\Vert {\Pi }_{\mathrm{D}}(\mathbf{g})\Vert }^2\right],\mathbf{g}\sim \mathcal{N}(0,{\mathbf{I}}_N)$$

问题描述与建模：建模为凸优化问题

目标：给定$\mathcal{D}$，计算得到统计维数(Statistical Dimension) $\delta (\mathrm{D})$。
问题：如果得到映射向量$\mathbf{x}={\Pi }_{\mathrm{D}}(\mathbf{g})$?
思路：通过建立以下优化问题

$$\underset{\mathbf{x}\in \mathrm{D}}{\min }\frac{1}{2}{\Vert \mathbf{x}-\mathbf{g}\Vert }^2$$

可以等价为

$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }\frac{1}{2}{\Vert \mathbf{x}-\mathbf{g}\Vert }^2\\ \text{subject to}& \\ & x_i\le 0,i=1,\cdots ,N-K\\ & 1^T\mathbf{x}=0\end{array}$$

亦可以等价为

$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }\frac{1}{2}{\Vert \mathbf{x}-\mathbf{g}\Vert }^2\\ \text{subject to}& \\ & {\mathbf{e}}_i^T\mathbf{x}\le 0,i=1,\cdots ,N-K\\ & 1^T\mathbf{x}=0\end{array}$$

上述问题是一个凸优化问题（满足强对偶性），我们可以借助拉格朗日方法进行求解。

优化问题求解

我们定义上述优化问题的拉格朗日函数，即$L:{\mathbb{R}}^N\times {\mathbb{R}}^{N-K}\times \mathbb{R}\to \mathbb{R}$
$$L(\mathbf{x},\mathbf{\lambda },\nu )=\frac{1}{2}{\Vert \mathbf{x}-\mathbf{g}\Vert }^2+\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\mathbf{x}+\nu 1^T\mathbf{x}$$

因为$L(\mathbf{x},\mathbf{\lambda },\nu )$关于$\mathbf{x}$是凸的，所以我们对$L$求一阶导，得到
$${\nabla }_{x}L=\mathbf{x}-\mathbf{g}+\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i+\nu 1$$

因此，当$\mathbf{x}=\mathbf{g}-{\sum }_{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i-\nu 1$，$L$可以取最小值，进一步可以得到对偶函数
$$\begin{array}{rl}h(\mathbf{\lambda },\nu )& =\underset{x\in {\mathbb{R}}^N}{\inf }L(\mathbf{x},\mathbf{\lambda },\nu )\\ & =L(\mathbf{x},\mathbf{\lambda },\nu ){|}_{\mathbf{x}=\mathbf{g}-{\sum }_{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i-\nu 1}\\ & =\frac{1}{2}{\Vert \sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i+\nu 1\Vert }^2+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\left(\mathbf{g}-\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i-\nu 1\right)\\ & +\nu 1^T\left(\mathbf{g}-\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i-\nu 1\right)\\ & =\frac{1}{2}\left(\Vert \mathbf{\lambda }{\Vert }^2+N{\nu }^2+2\nu 1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)\right)+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\mathbf{g}-\Vert \mathbf{\lambda }{\Vert }^2-\nu 1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)\\ & +\nu 1^T\mathbf{g}-\nu 1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)-N{\nu }^2\\ & =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\mathbf{g}-\frac{1}{2}N{\nu }^2-\nu 1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)+\nu 1^T\mathbf{g}\\ & =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\mathbf{g}-\frac{1}{2}\nu \left(N\nu +2\cdot 1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)-2\cdot 1^T\mathbf{g}\right)\end{array}$$

又因为$1^T\mathbf{x}=0$，我们有
$$\begin{array}{rl}& 1^T\left(\mathbf{g}-\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i-\nu 1\right)=0\\ ⟹& N\nu =1^T\mathbf{g}-1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)\end{array}$$

因此，对偶函数$h(\mathbf{\lambda },\nu )$可以继续化简为
$$\begin{array}{rl}h(\mathbf{\lambda })& =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\mathbf{g}-\frac{1}{2}\frac{1^T\mathbf{g}-1^T\left({\sum }_{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)}{N}\left(1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)-1^T\mathbf{g}\right)\\ & =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i^T\right)\mathbf{g}+\frac{1}{2N}{\left(1^T\left(\sum _{i=1}^{N-K}{\lambda }_i{\mathbf{e}}_i\right)-1^T\mathbf{g}\right)}^2\\ & =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+{\mathbf{g}}_{1:N-K}^T\mathbf{\lambda }+\frac{1}{2N}{\left({\mathbf{\lambda }}^T{1}_{N-K}-1_N^T\mathbf{g}\right)}^2\\ & =-\frac{1}{2}\Vert \mathbf{\lambda }{\Vert }^2+{\mathbf{g}}_{1:N-K}^T\mathbf{\lambda }+\frac{1}{2N}\left({\mathbf{\lambda }}^T{1}_{N-K}{1}_{N-K}^T\mathbf{\lambda }-2{\mathbf{g}}^T{1}_N{1}_{N-K}^T\mathbf{\lambda }+|1_N^T\mathbf{g}{|}^2\right)\\ & =-\frac{1}{2}{\mathbf{\lambda }}^T\left(\mathbf{I}-\frac{1}{N}{1}_{N-K}{1}_{N-K}^T\right)\mathbf{\lambda }+\left({\mathbf{g}}_{1:N-K}^T-{\mathbf{g}}^T\frac{1}{N}{1}_N{1}_{N-K}^T\right)\mathbf{\lambda }+\frac{1}{2N}|1_N^T\mathbf{g}{|}^2\\ & =-\frac{1}{2}{\mathbf{\lambda }}^T\left(\mathbf{I}-\frac{1}{N}{1}_{N-K}{1}_{N-K}^T\right)\mathbf{\lambda }+\left({\mathbf{g}}_{1:N-K}^T\left(\mathbf{I}-\frac{1}{N}{1}_{N-K}{1}_{N-K}^T\right)-{\mathbf{g}}_{N-K+1:N}^T\frac{1}{N}{1}_K{1}_{N-K}^T\right)\mathbf{\lambda }\\ & +\frac{1}{2N}|1_N^T\mathbf{g}{|}^2\end{array}$$

令$\mathbf{B}=\mathbf{I}-\frac{1}{N}{1}_{N-K}{1}_{N-K}^T\in {\mathbb{R}}^{(N-K)\times (N-K)}$, $\mathbf{C}=1_K{1}_{N-K}^T\in {\mathbb{R}}^{K\times (N-K)}$，则$h(\mathbf{\lambda }):{\mathbb{R}}^{N-K}\to \mathbb{R}$可以写为
$$\begin{array}{rl}h(\mathbf{\lambda })& =-\frac{1}{2}{\mathbf{\lambda }}^T\mathbf{B}\mathbf{\lambda }+{\mathbf{g}}_{1:N-K}^T\mathbf{B}\mathbf{\lambda }-\frac{1}{N}{\mathbf{g}}_{N-K+1:N}^T\mathbf{C}\mathbf{\lambda }+\frac{1}{2N}|1_N^T\mathbf{g}{|}^2\end{array}$$

最终，我们可以把对偶问题写为：

$$\begin{array}{rl}& \underset{\mathbf{\lambda }\in {\mathbb{R}}^{N-K}}{\max }-\frac{1}{2}{\mathbf{\lambda }}^T\mathbf{B}\mathbf{\lambda }+{\mathbf{g}}_{1:N-K}^T\mathbf{B}\mathbf{\lambda }-\frac{1}{N}{\mathbf{g}}_{N-K+1:N}^T\mathbf{C}\mathbf{\lambda }+\frac{1}{2N}|1_N^T\mathbf{g}{|}^2\\ \text{subject to}& \\ & \mathbf{\lambda }\ge 0\end{array}$$

进一步，我们分析矩阵$\mathbf{B}$和$\mathbf{C}$的相关性质。令$ϵ=K/N$，${\mathbf{q}}_1=\frac{1}{\sqrt{N-K}}$则$\mathbf{B}$可以写为
$$\begin{array}{rl}\mathbf{B}& =\mathbf{I}-\frac{1}{N}{1}_{N-K}{1}_{N-K}^T\\ & =\mathbf{I}-(1-ϵ){\mathbf{q}}_1{\mathbf{q}}_1^T\end{array}$$

• ${\mathbf{B}}^2=\mathbf{I}-(1-{ϵ}^2){\mathbf{q}}_1{\mathbf{q}}_1^T$
• ${\mathbf{B}}^{-1}=\mathbf{I}-(1-\frac{1}{ϵ}){\mathbf{q}}_1{\mathbf{q}}_1^T$
• ${\mathbf{B}}^{\frac{1}{2}}=\mathbf{I}-(1-\sqrt{ϵ}){\mathbf{q}}_1{\mathbf{q}}_1^T$
• ${\mathbf{B}}^{-\frac{1}{2}}=\mathbf{I}-(1-\frac{1}{\sqrt{ϵ}}){\mathbf{q}}_1{\mathbf{q}}_1^T$

因为$\mathbf{C}$是一个$K\times (N-K)$的全1矩阵，我们可以得到
$$\begin{array}{r}{\mathbf{BC}}^T=(1-ϵ){\mathbf{C}}^T\\ {\mathbf{B}}^{-\frac{1}{2}}{\mathbf{C}}^T=(1+\frac{1}{1+\frac{1}{\sqrt{ϵ}}}){\mathbf{C}}^T\end{array}$$

尝试
$$\begin{array}{rl}{\nabla }_{\mathbf{\lambda }}h& =-{\mathbf{B}}^{\frac{1}{2}}\mathbf{\lambda }+\mathbf{B}{\mathbf{g}}_{1:N-K}-\frac{1}{N}{\mathbf{C}}^T{\mathbf{g}}_{N-K+1:N}\\ & =-{\mathbf{B}}^{\frac{1}{2}}\mathbf{\lambda }+\left[\mathbf{B},-\frac{1}{N}{\mathbf{C}}^T\right]\mathbf{g}\end{array}$$

如果令${\nabla }_{\mathbf{\lambda }}h=0$，则
$$\begin{array}{rl}\mathbf{\lambda }& ={\mathbf{B}}^{-\frac{1}{2}}\left[\mathbf{B},-\frac{1}{N}{\mathbf{C}}^T\right]\mathbf{g}\\ & =\left[{\mathbf{B}}^{-\frac{1}{2}},-\frac{1}{N}{\mathbf{B}}^{-\frac{1}{2}}{\mathbf{C}}^T\right]\mathbf{g}\\ & =\left[{\mathbf{B}}^{-\frac{1}{2}},-\frac{1}{N}(1+\frac{1}{1+\frac{1}{\sqrt{ϵ}}}){\mathbf{C}}^T\right]\mathbf{g}\end{array}$$

因为$\mathbf{g}\sim \mathcal{N}(0,{\mathbf{I}}_N)$，令$\kappa (ϵ)=(1+\frac{1}{1+\frac{1}{\sqrt{ϵ}}})$，我们可以计算得到$\mathbf{\lambda }$的协方差矩阵
$$\begin{array}{rl}{\mathbf{\Sigma }}_{\mathbf{\lambda }}& =\left[{\mathbf{B}}^{-\frac{1}{2}},-\frac{1}{N}\kappa (ϵ){\mathbf{C}}^T\right]{\left[{\mathbf{B}}^{-\frac{1}{2}},-\frac{1}{N}\kappa (ϵ){\mathbf{C}}^T\right]}^T\\ & ={\mathbf{B}}^{-1}+\frac{1}{N^2}\kappa (ϵ{)}^2{\mathbf{C}}^T\mathbf{C}\\ & ={\mathbf{B}}^{-1}+\frac{1}{N^2}\kappa (ϵ{)}^2{1}_{N-K}{1}_K^T{1}_K{1}_{N-K}^T\\ & ={\mathbf{B}}^{-1}+\kappa (ϵ{)}^2\frac{K(N-K)}{N^2}\frac{1_{N-K}}{\sqrt{(}N-K)}\frac{1_{N-K}^T}{\sqrt{(}N-K)}\\ & ={\mathbf{B}}^{-1}+\kappa (ϵ{)}^2ϵ(1-ϵ)\frac{1_{N-K}}{\sqrt{(}N-K)}\frac{1_{N-K}^T}{\sqrt{(}N-K)}\\ & ={\mathbf{I}}_{N-K}-\left(1-\frac{1}{ϵ}-ϵ(1-ϵ){\kappa }^2(ϵ)\right){\mathbf{q}}_1{\mathbf{q}}_1^T\end{array}$$

原问题：
$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }\frac{1}{2}{\Vert \mathbf{x}-\mathbf{g}\Vert }^2\\ \text{subject to}& \\ & {\mathbf{e}}_i^T\mathbf{x}\le 0,i=1,\cdots ,N-K\\ & 1^T\mathbf{x}=0\end{array}$$

对偶问题：
$$\begin{array}{rl}& \underset{\mathbf{\lambda }\in {\mathbb{R}}^{N-K}}{\max }-\frac{1}{2}{\mathbf{\lambda }}^T\mathbf{B}\mathbf{\lambda }+{\mathbf{g}}_{1:N-K}^T\mathbf{B}\mathbf{\lambda }-\frac{1}{N}{\mathbf{g}}_{N-K+1:N}^T\mathbf{C}\mathbf{\lambda }+\frac{1}{2N}|1_N^T\mathbf{g}{|}^2\\ \text{subject to}& \\ & \mathbf{\lambda }\ge 0\end{array}$$