论文导读：使用松弛半定规划的方法进行数据降维--通过最大最小距离

可能是全网第一篇讲解此篇论文的博客

本文旨在记录阅读文献时的想法，并不适合小白，有一定数据降维经验的小伙伴会更快上手。
原文地址：Max-min distance analysis by using sequential SDP relaxation for dimension reduction
本文的目的是实现数据降维，需要首先了解普通的PCA和LDA[Linear discriminate analysis]的算法。
LDA的算法是通过最大化类与类之间的距离和最小化同类之间的方差为目标的算法。目标函数设定为$$\text{objective}:min\frac{W^T{S}_{b}W}{W^T{S}_{w}W}$$
具体的请移步：LDA

1. 系统模型

  本文的方法提出一个新的优化目标：最大化类别间的最小距离。根据木桶原理，分类的性能瓶颈肯定受限于最小的距离的两个类别。最小的距离被优化了，那么整体的性能肯定会得到优化。
  设定好了目标函数以后我们可以显式的把优化问题表达出来：
  考虑一个$C$种类别的分类问题，假设每一个类别之内的数据点的分布都是同样方差(不同也没有关系)的高斯分布。大概如下如图所示：

对于每一个${\omega }_i$类别都有条件分布$p(\mathbf{x}|{\omega }_i)=\mathcal{N}({\mu }_{\mathbf{i}},\mathbf{\Sigma }|{\omega }_{\mathbf{i}})$,其中$\mathbf{x}\in {\mathbb{R}}^m$,$\mathbf{y}={\mathbf{W}}^T\mathbf{x}\in {\mathbb{R}}^d$,其中$\mathbf{W}\in {\mathbb{R}}^{m\times d}$，$\mathbf{x}$是原数据向量，$\mathbf{y}$是降维后的数据向量，$\mathbf{W}$是降维矩阵。此处原文章出错

1.1数学表示

 每个类别间的数据的方差可以随意假设，文章中假设$\mathbf{\Sigma }=\mathbf{I}$,现在${\omega }_i$和${\omega }_j$两个类别的中心距离变成了
$$\begin{array}{rl}\Delta ({\omega }_i,{\omega }_j|\mathbf{W})& =tr({\mathbf{W}}^T{\mathbf{D}}_{ij}\mathbf{W})\\ subjectto{\mathbf{W}}^T\mathbf{W}& ={\mathbf{I}}_d\end{array}$$
${\mathbf{W}}^T\mathbf{W}={\mathbf{I}}_d$是为了让$\mathbf{W}$单位化，其中${\mathbf{D}}_{ij}$是矩阵:$${\mathbf{D}}_{ij}=({\mu }_i-{\mu }_j)({\mu }_i-{\mu }_j{)}^T,$$
这个矩阵被称为类别${\omega }_i$和${\omega }_j$的距离矩阵，这个矩阵的迹就是未变换前的两个类别中心的距离了。变换后的迹既是:$$tr({\mathbf{W}}^T{\mathbf{D}}_{ij}\mathbf{W})=\Vert {\mathbf{W}}^{\mathbf{T}}({\mu }_{\mathbf{i}}-{\mu }_{\mathbf{j}}){\Vert }^2.$$
 我们的优化目标便是这个了，找到所有类别中心距离最短的距离MMDA(Max-min distance analysis):$$\underset{{\mathbf{W}}^T\mathbf{W}={\mathbf{I}}_d}{\max }\underset{1\le i\le j\le C}{\min }\Delta ({\omega }_i,{\omega }_j|\mathbf{W})。$$
这乍一看，这个优化问题咋做啊，无从下手啊，每次都遍历一边吗，怎么求导啊？别着急，聪明的作者做了一个变形。

---

1.2优化模型

 引入一个辅助变量$t$，令$t=\text{min}\underset{1\le i<j\le c}{\Delta }({\omega }_i,{\omega }_j|\mathbf{W})，$这样模型就变成了
$$\begin{array}{rl}\text{max}& t\\ \text{s.t.}& Tr({\mathbf{D}}_{ij}\mathbf{X})\ge t,1\le i<j\le C.\end{array}$$
诶，这样一看是不是问题有点头绪了，学习过凸优化的同学应该能看出来这好像是半定规划的问题。但是半定规划有一个$\mathbf{X}⪰0$啊。这里需要嘛？而且这里好像对$\mathbf{X}$的限制没有体现出${\mathbf{W}}^T\mathbf{W}={\mathbf{I}}_d$。
 你想得没错，这里需要插入一条引理

1. 如果 Ω 1 是 这 样 的 集 合 ： Ω 1 = { X ∣ X = W W T , W T W = I d } ， 而 Ω 2 = { X ∣ T r ( X ) = d , 0 ⪯ X ⪯ I } \Omega_1是这样的 集合：\Omega_1=\{\mathbf{X}|\mathbf{X}=\mathbf{W}\mathbf{W^T},\mathbf{W^T}\mathbf{W}=\bold{I}_d\}，而\Omega_2=\{\mathbf{X}|Tr(\mathbf{X})=d,\mathbf{0}\preceq\mathbf{X}\preceq{\mathbf{I}}\} Ω1​是这样的集合：Ω1​={X∣X=WWT,WTW=Id​}，而Ω2​={X∣Tr(X)=d,0⪯X⪯I}。那么${\Omega }_2$是${\Omega }_1$的最小凸包，${\Omega }_1$是${\Omega }_2$的极点

什么？你不知道什么是极点，什么是凸包？自己百度去。好吧，集合的极点就是不能集合中其他的点线性表示出来的点，凸包就是包含此集合的最小凸集。所以引理1的证明非常直观，直接用定义即可。${\Omega }_1$和${\Omega }_2$的本质差在哪？
${\Omega }_1$规定了$rank(\mathbf{X})=d$,而${\Omega }_2$没有做此规定，所以${\Omega }_2$中的$X$的rank可以是$1\le rank(\mathbf{X})\le m$。
 怎么证明引理1呢？我给出一个不严谨的证明

${\Omega }_1\subseteq {\Omega }_2$很明显，并且很明显$rank(\mathbf{X})\ne d$的$X_1$,$X_2\in {\Omega }_2$的线性组合不可能表示成$rank(\mathbf{X})=d$且$Tr(\mathbf{X})=d$
还是给出一个证明吧，写这玩意太费时了

好了，此时的可行域变大了，可行域从极点变成了凸包，这就是我们文章中松弛所在的地方。这时松弛的优化问题变成了
$$\begin{array}{rl}\text{min}& -t\\ s.t& tr({\mathbf{A}}_{ij}\mathbf{X})\ge t1\le i<j\le C\\ & tr(\mathbf{X})=d\\ & 0⪯\mathbf{X}⪯\mathbf{I}\end{array}$$
这是不是一个标准的SDP(semidefinte programming)问题?
啥？你不知道啥是SDP？这里简单的说一下SDP的标准形式吧

$$\begin{array}{rl}minimize& \mathbf{t}\mathbf{r}(CX)\\ subjectto& \mathbf{t}\mathbf{r}(A_{i}X)=b_i,i=1,\dots ,p\\ & X⪰0,\end{array}$$

不会吧不会吧，不会到了这一步还有人不知道怎么把问题变成标准的SDP形式吧。没办法了，我只好写得详细一些
$$\begin{array}{r}111\end{array}$$