自我表达子空间图构建方法的系数矩阵求解过程

自我表达子空间图构建方法的系数矩阵求解过程

给定的目标函数是：
$$\hat{\mathbf{S}}=\arg \underset{\mathbf{S}}{\min }\sum _{i=1}^m\lambda {\Vert {\mathbf{H}}_i-\mathbf{S}{\mathbf{H}}_i\Vert }_{\mathrm{F}}^2+\beta {\Vert \mathbf{S}\Vert }_{\mathrm{F}}^2$$

这里，${\mathbf{H}}_i$ 是数据点或子空间的表示，$\mathbf{S}$ 是我们要优化的自我表达矩阵，$\lambda$ 和 $\beta$ 是正则化参数。我们的目标是最小化这个函数。

为了求解 $\mathbf{S}$，我们可以对目标函数关于 $\mathbf{S}$ 求导，并令导数等于零来找到最小值点。首先，让我们简化目标函数：

$$J(\mathbf{S})=\lambda \sum _{i=1}^m{\Vert {\mathbf{H}}_i-\mathbf{S}{\mathbf{H}}_i\Vert }_{\mathrm{F}}^2+\beta {\Vert \mathbf{S}\Vert }_{\mathrm{F}}^2$$

可以进一步写为：
$$J(\mathbf{S})=\lambda \sum _{i=1}^m\mathrm{tr}(({\mathbf{H}}_i-\mathbf{S}{\mathbf{H}}_i{)}^T({\mathbf{H}}_i-\mathbf{S}{\mathbf{H}}_i))+\beta \mathrm{tr}({\mathbf{S}}^T\mathbf{S})$$

利用迹的性质（如 $\mathrm{tr}({\mathbf{A}}^T\mathbf{B})=\mathrm{tr}({\mathbf{B}}^T\mathbf{A})$ 和 $\mathrm{tr}(\mathbf{A}+\mathbf{B})=\mathrm{tr}(\mathbf{A})+\mathrm{tr}(\mathbf{B})$），我们得到：
$$J(\mathbf{S})=\lambda \sum _{i=1}^m\mathrm{tr}({\mathbf{H}}_i^T{\mathbf{H}}_i-2{\mathbf{H}}_i^T\mathbf{S}{\mathbf{H}}_i+{\mathbf{H}}_i^T{\mathbf{S}}^T\mathbf{S}{\mathbf{H}}_i)+\beta \mathrm{tr}({\mathbf{S}}^T\mathbf{S})$$

这里注意，tr(AB) = tr(BA)

对 $J(\mathbf{S})$ 关于 $\mathbf{S}$ 求导，注意到 $\mathrm{tr}(\mathbf{ABC})$ 对 $\mathbf{B}$ 的导数是 $\mathbf{C}{\mathbf{A}}^T+\mathbf{A}{\mathbf{C}}^T$ 当 $\mathbf{A}$ 和 $\mathbf{C}$ 是常量时，我们有：
$$\frac{\partial J}{\partial \mathbf{S}}=-2\lambda \sum _{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T+2\lambda \sum _{i=1}^m\mathbf{S}{\mathbf{H}}_i{\mathbf{H}}_i^T+2\beta \mathbf{S}$$

设导数为0，得到：
$$-2\lambda \sum _{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T+2\lambda \sum _{i=1}^m\mathbf{S}{\mathbf{H}}_i{\mathbf{H}}_i^T+2\beta \mathbf{S}=0$$

整理后得到：
$$\lambda \sum _{i=1}^m\mathbf{S}{\mathbf{H}}_i{\mathbf{H}}_i^T+\beta \mathbf{S}=\lambda \sum _{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T$$

$$\mathbf{S}\left(\lambda \sum _{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T+\beta \mathbf{I}\right)=\lambda \sum _{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T$$

假设 $\mathbf{C}={\sum }_{i=1}^m{\mathbf{H}}_i{\mathbf{H}}_i^T$，则上式可以写作：
$$\mathbf{S}(\lambda \mathbf{C}+\beta \mathbf{I})=\lambda \mathbf{C}$$

因此，解得：
$$\hat{\mathbf{S}}=(\lambda \mathbf{C}+\beta \mathbf{I}{)}^{-1}\lambda \mathbf{C}$$

由于 $\lambda$ 只是一个比例因子，我们可以将其提取出来，得到最终形式：
$$\hat{\mathbf{S}}={\left(\mathbf{C}+\frac{\beta }{\lambda }\mathbf{I}\right)}^{-1}\mathbf{C}$$