降维(二)----Laplacian Eigenmaps

标签: 降维Laplacian Eigenmaps
12957人阅读 评论(11) 收藏 举报
分类:

降维系列:

---------------------   

      

        前一篇文章中介绍了主成分分析。PCA的降维原则是最小化投影损失,或者是最大化保留投影后数据的方差。在谈到其缺点的时候,我们说这一目标并不一定有助于数据的分类,换句话说,原本在高维空间中属于两类的样本,降维后可能反而不可分了。这时一种经典的降维方法是LDA,其原理是使降维后的数据间类内距离尽可能小,类间距离尽可能大。

        使用LDA有个条件,就是要知道降维前数据分别属于哪一类,而且还要知道数据完整的高维信息。然而在Data Mining的很多应用下,我们是不知道数据的具体特征的(也就是高维信息),而仅仅知道数据与数据之间的相似程度。比如,在文本聚类的时候我们可以轻松知道两句话之间多么相似,但是却不一定设计出每句话应抽取什么样的特征形式。在这种应用场景下,我们要对数据进行降维,必然要尽可能保证原本相似的数据在降维后的空间中依然相似,而不相似的数据尽可能还是距离很远。解决这一问题可以采用的方法是MDS,LE,LLE等。这里我就总结总结LE(Laplacian Eigenmaps)。

        还要强调一次,不是说后面每一个算法都比前面的好,而是每一种算法的降维目标都不一样,都是从不同角度去看问题。

        Laplacian Eigenmaps看问题的角度和LLE十分相似。它们都用图的角度去构建数据之间的关系。图中的每个顶点代表一个数据,每一条边权重代表数据之间的相似程度,越相似则权值越大。并且它们还都假设数据具有局部结构性质。LE假设每一点只与它距离最近的一些点相似,再远一些的数据相似程度为0,降维后相近的点尽可能保持相近。而LLE假设每一个点都能通过周围邻域数据的线性组合来描述,并且降维后这一线性关系尽可能保持不变。不过这里我不主要介绍LLE,主要介绍LE,因为它在spectral clustering中被使用。

        首先要构建图的权值矩阵。构建方法为:

  • 1)通过设置一个阈值,相似度在阈值以下的都直接置为零,这相当于在一个 -领域内考虑局部性;
  • 2)对每个点选取 k 个最接近的点作为邻居,与其他的点的相似性则置为零。这里需要注意的是 LE 要求相似度矩阵具有对称性,因此,我们通常会在  属于  的 k 个最接近的邻居且/或反之的时候,就保留  的值,否则置为零;
  • 3)全连通。

        以上三种方法构成的矩阵W都是对称的。按理说3会更让大家接受,但是1)和2)能够保证矩阵的稀疏性,而稀疏的矩阵对求特征值是十分方便的。不小心剧透了一下,LE的求解最终还是一个特征值分解问题。不过它和PCA不一样。怎么不一样,后面慢慢说。

        LE同样把降维考虑为一种高维到低维的映射,则一个好的映射应该使连通的点靠的更近(作者注:不连通的点按理应该靠远点)。设xi映射后的点为yi,则LE的目标就是最小化以下函数:

        如果采用1)和2)的方法构造矩阵,不连通的两点Wij为0,所以降维对它们没有影响。感觉有点不太合理,这不是容忍他们胡作非为么?!按理来说3)应该是更合理一些,但是3)构成的矩阵不是稀疏的╮(╯▽╰)╭。这就是一个trade-off了。而另一方面,靠的近的两个点对应的Wij大,如果降维后他们距离远了,受到的惩罚就会很大

        聪明的话你会一眼看出来:不对啊,降维后如果所有的y都等于同一个值,目标函数显然是最小的,那还搞个屁啊?当然,我们会在后面求解的时候加上这一限制条件,不允许y为一个各维相同的常量。

        我们快速对目标函数进行一下整理:

        其中 ,L=D-W,L就叫做Laplacian Matrix。

        于是,我们的最小化问题可以等效为:

        这个公式是不是就似曾相识了?和PCA的目标函数十分相似,只不过现在的目标函数是求最小值,而PCA是求最大值,约束条件也小小地变形了一下。这个目标的求解就是一个广义特征值分解问题:

        说到这里,还有一个问题没有解决,就是刚才提到的“y为一个各维相同的常量”的情况。我们看,L和D都个半正定矩阵,因此特征值都应该大于等于0。可以很快证明,特征值为0时,y的取值(如果有之一的话)是一个全1的向量(可以把矩阵乘积展开来计算一下,左边因为L=D-W的减号作用,结果显然也是0的),也就是我们刚才怀疑到的这种情况。

        因此,对于,我们将特征值从小到大排序后,选择第二小的特征值到第m+1小的特征值对应的特征向量(共m个),组成一个Nxm的矩阵,矩阵的每一行就是原来的数据降维后得到的m维特征。你会不会觉得很神奇,原本我们只知道数据与数据之间的相似程度,结果竟然把降维后的特征求出来了!其实求出的特征不过是个相对特征罢了,他们之间相对的距离的远近才是实际重要的,慢慢体会目标函数你就会理解了。

        还要再说说这里的特征值。如果仅有一个特征值为0,那么这个graph一定是全通的。关于这个结论我们可以这样证明:

假设f是特征值0对应的特征向量,那么:

        如果两个顶点是连通的,那么wij>0,为了满足上式只要让fi=fj。如果graph是连通的话,就能找到一系列w1i,wij,wjk……大于0(其中ijk….分别属于234…N中的一个数),这样就成立了f1=fj=fk=…..。换句话说,f是一个全为一个数的向量,与全1的向量是同一个向量。又因为仅有这一个向量满足条件,所以仅有一个特征值0满足全通的假设。就证明好了。

        将这个结论做点推广,就是如果一个graph可以分为k个连通区域,那么特征值分解后就有k个为0的特征值。

 

        Laplacian Eigenmap具有区分数据点的特性,可以从下面的例子看出:

       Laplacian Eigenmap实验结果。左边的图表示有两类数据点(数据是图片),中间图表示采用Laplacian Eigenmap降维后每个数据点在二维空间中的位置,右边的图表示采用PCA并取前两个主要方向投影后的结果,可以清楚地看到,在此分类问题上,Laplacian Eigenmap的结果明显优于PCA。

 

         事实上,LE和LLE都假设数据分布在一个嵌套在高维空间中的低维流形上。Laplacian Matrix其实是流形的 Laplace Beltrami operator的一个离散近似。关于流型和Laplace Beltrami operator我也没有怎么研究过,这里就给这么一个结论给大家。大家可以参考下面给出的两篇参考文献做进一步阅读。

 

Further Readings:

1.  Laplacian Eigenmaps for Dimensionality Reduction and Data Representation

2.  A Tutorial on Spectral Clustering

 

-----------------

jiang1st2010

原文地址:http://blog.csdn.net/jiang1st2010/article/details/8945083

2
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:647227次
    • 积分:5611
    • 等级:
    • 排名:第4648名
    • 原创:40篇
    • 转载:16篇
    • 译文:2篇
    • 评论:338条
    个人主页
    联系方式

    jiang1st2010@gmail.com

    请在邮件中简单自我介绍。请尽量在博客中给我留言。

    新浪微博
    最新评论