MDS总结

MDS求解方法： 

1 最优化成本函数    假定原始高维数据样本的距离矩阵为D，则在低维下的距离矩阵为Z，我们可以用优化算法选取初始点，用梯度下降法求最佳逼近，使得||D-Z||最小  详情 ：点击打开链接

2 矩阵    也可以利用內积来求的低维映射。前者在样本较多时容易陷入局部最优，后者较稳定，但在样本不多时，效果比前者要差。详情 ：点击打开链接

    2链接中的部分注解

        

    注意图中B=Z^TZ 不是协方差矩阵，协方差矩阵是ZZ^T 具体看附录

为什么B用内积而不用协方差

        在这句即之前，Z只定义了它的形状，但是Z的元素是不知道的。加上这个约束之后，Z的元素就确定了，但是想单纯的表示出来Z的元素是比较困难的，但是B即Z的内积矩阵用dist是很容易表示出来的。

            光有Z的内积，我们还是无法知道Z长什么样啊。

            我们观察B的形式，B=Z^TZ，如果特征分解则长这样 B = Z^TZ =  V^V^-1(^为特征值组成的对角阵)

            可以看出V与Z相对应，，这里的约等于是因为维数不对应（Z是m*d，后者是m*m）

            所以该算法取前d个特征向量

   --------------------------------------------------------------------------------------------------------  

   --------------------------------------------------------------------------------------------------------   

附录 

            

    

        

降维的方法类型

        降维的依据条件区分：

        1. 以特征值为条件或依据的降维方式：如 PCA、MDS

        2. 以样本类内距和类间距的降维方式，如 LDA

        降维的线性非线性区分：

      1. 线性降维方式：PCA，LDA、MDS

      2. 非线性降维方式：ISOMAP（等距离映射isometric mapping），LLE(局部线性嵌入Local Linear Embedding)