ReduNet 中的一些原理 及 The Rate-Distortion Function

两种编码率

总体空间的编码率(coding rate)：
$$R(\mathbf{Z},ϵ)\doteq \frac{1}{2}\log \det \left(\mathbf{I}+\frac{d}{m{ϵ}^2}\mathbf{Z}{\mathbf{Z}}^{\top }\right),$$
以及类内空间编码率：
$$R^c(\mathbf{Z},ϵ\mid \Pi )\doteq \sum _{j=1}^k\frac{\mathrm{tr}\left({\Pi }_j\right)}{2m}\log \det \left(\mathbf{I}+\frac{d}{\mathrm{tr}\left({\Pi }_j\right){ϵ}^2}\mathbf{Z}{\Pi }_j{\mathbf{Z}}^{\top }\right).$$
这两个公式的出发点为信息率失真函数（The Rate-Distortion Function）。

---

信息率失真函数

我们首先假设一个空间有$m$个向量$w_i$（这里的所有$W$对应前面构造中的$Z$），其满足：$\mu \doteq \frac{1}{m}{\sum }_i{w}_i=0$，${\epsilon }^2$为编码每个向量所允许的平方误差，也就是说${\hat{w}}_i$是$w_i$的近似，且满足$\mathbb{E}\left[{\Vert w_i-{\hat{w}}_i\Vert }^2\right]\le {\epsilon }^2$，平均意义下，为每个entry的$w_i$所允许的平方误差为${\epsilon }^2/d$（$d$为数据维度），可进行如下建模：

$${\hat{w}}_i=w_i+z_i,z_i\sim \mathcal{N}\left(0,\frac{{\epsilon }^2}{d}I\right)$$

向量${\hat{w}}_i$的协方差矩阵为：

$$\hat{\Sigma }\doteq \mathbb{E}\left[\frac{1}{m}\sum _{i=1}^m{\hat{w}}_i{\hat{w}}_i^T\right]=\frac{{\epsilon }^2}{d}I+\frac{1}{m}W{W}^T\in {\mathbb{R}}^{d\times d}$$

这时候我们想要衡量整个空间的膨胀情况，一个直观的想法就是直接计算所有向量张成空间的体积，而这个体积正比于协方差矩阵行列式的平方根，这个是可以由几何意义看出。

其中，$e_1,e_2$表示$\hat{W}$的奇异向量（正交的）；${\sigma }_1,{\sigma }_2$表示奇异值，可得${\hat{w}}_i$张成空间的体积为（相当于所有的奇异值相乘），而$\hat{W}$的奇异值为其协方差阵特征值开根，因此有如下计算公式：

$$\mathrm{vol}(\hat{W})\propto \sqrt{\det \left(\frac{{\epsilon }^2}{d}I+\frac{1}{m}W{W}^T\right)}$$

同样，每个随机向量$z$所张成的体积为（可以理解成每个小球的体积）：

$$\mathrm{vol}(z)\propto \sqrt{\det \left(\frac{{\epsilon }^2}{d}I\right)}.$$

为了对每个向量进行编码，我们可以将所有向量所张成的区域划分为不重叠的小球进行填充。当该区域的体积远大于球体的体积时，我们能塞进该区域的小球总数大约等于：

$$\#\text{ of spheres}=\mathrm{vol}(\hat{W})/\mathrm{vol}(z)$$

若用二进制数来标记感兴趣区域内的所有小球，所需的比特数为：

$$\begin{array}{rl}R(W)& \doteq {\log }_2(\#\text{ of spheres})\\ & ={\log }_2(\mathrm{vol}(\hat{W})/\mathrm{vol}(z))=\frac{1}{2}{\log }_2\det \left(I+\frac{d}{m{\epsilon }^2}W{W}^T\right),\end{array}$$

最后一个等式成立是由于：

$$\det (A)/\det (B)=\det \left(B^{-1}A\right).$$

根据基本不等式，几何平均数小于等于算数平均值（也就是乘积可以被求和所控制），因此膨胀空间的大小是有限制的。注意到协方差阵的特征值求和就等于其trace，因此对于有限维空间而言，膨胀这一行为是有上界的。

而针对每一类内的信息率失真函数进行加权求和后，为：
$$R^c(W,ϵ\mid \Pi )=\sum _{j=1}^k\frac{\mathrm{tr}\left({\Pi }_j\right)}{2m}\log \det \left(\mathbf{I}+\frac{d}{\mathrm{tr}\left({\Pi }_j\right){ϵ}^2}W{\Pi }_j{W}^{\top }\right).$$

可以证明，上述函数是关于${\Pi }_j$为凹函数。因此最后优化的时候是对其取负，再结合总体空间的目标函数进行优化。

---

参考

• Segmentation of Multivariate Mixed Data via Lossy Data Coding and Compression