文献阅读Dimensionality Reduction on SPD Manifolds: The Emergence of Geometry-Aware Methods--有监督降维部分

• 输入：一个高维SPD矩阵的集合$\mathcal{X}=X_1,X_2,\dots ,X_N$，每个矩阵$X_i\in {\mathbb{S}}_d^{+}$，以及它们对应的类别标签$\mathcal{Y}=y_1,y_2,\dots ,y_N$，每个标签$y_i\in 1,2,\dots ,C$，其中$C$是类别的总数。

• 输出：一个正交投影矩阵$P\in {\mathbb{R}}^{d\times k}$，它将高维SPD矩阵映射到低维SPD矩阵，即$Z_i=P^T{X}_{i}P\in {\mathbb{S}}_k^{+}$，其中$k<d$是目标维度。

• 目标：找到一个最优的投影矩阵$P^{\star }$，使得低维SPD矩阵之间的类内距离最小，而类间距离最大，即

$$P^{\star }=\arg \underset{P}{\max }J(P)=\arg \underset{P}{\max }\frac{\text{tr}(P^T{S}_{B}P)}{\text{tr}(P^T{S}_{W}P)}$$
其中$S_B$和$S_W$分别是高维SPD流形上的类间散度矩阵和类内散度矩阵，它们的定义为
$$S_B=\frac{1}{C}\sum _{c=1}^C{N}_c({\mu }_c-\mu )({\mu }_c-\mu {)}^T$$
$$S_W=\frac{1}{N}\sum _{i=1}^N(X_i-{\mu }_{y_i})(X_i-{\mu }_{y_i}{)}^T$$
其中$N_c$是第$c$类的样本数，${\mu }_c$是第$c$类样本的均值点，$\mu$是所有样本的均值点，它们都是高维SPD矩阵，并且用黎曼平均来计算。
• 算法：

• 初始化投影矩阵$P_0$为一个随机正交矩阵，并计算初始目标函数值$J(P_0)$。

• 迭代以下步骤，直到收敛或达到最大迭代次数：

• 计算梯度矩阵$G_t=S_W{P}_t-P_t{S}_B$

• 计算梯度方向矩阵$Q_t=P_t{G}_t^T-G_t{P}_t^T$

• 计算步长${\alpha }_t=\frac{\text{tr}(Q_t^T{G}_t)}{\text{tr}(Q_t^T{S}_W{Q}_t)}$

• 更新投影矩阵$P_{t+1}=e^{-{\alpha }_t{Q}_t}{P}_t$

• 计算目标函数值$J(P_{t+1})$

• 如果$J(P_{t+1})>J(P_t)$，则接受更新，否则拒绝更新并减小步长

• 返回最终的投影矩阵$P_T$