降维方法:Laplacian Eigenmaps (拉普拉斯特征映射)——拉普拉斯矩阵

转载 2018年04月16日 23:15:43

拉普拉斯矩阵

Laplacian matrix 的定义

谈到机器学习中的降维技术,可能大多数了解一点机器学习的朋友都知道PCA,今天为大家介绍一种新的降维方法——拉普拉斯特征映射

拉普拉斯矩阵(Laplacian matrix)),也称为基尔霍夫矩阵, 是表示图的一种矩阵。给定一个有n个顶点的图G=(V,E) ,其拉普拉斯矩阵被定义为:L=D-W

其中D为图的度矩阵,W为图的邻接矩阵。(不知道度矩阵和邻接矩阵的请自行百度)

拉普拉斯矩阵L的性质

  • L是对称半正定矩阵;
  • 1 = 0 1 ,即 的最小特征值是0,相应的特征向量是 。证明:L* 1 = ( D-W) * 1 = 0 = 0 * 1 。
  • L 有n个非负实特征值
  • 且对于任何一个属于实向量f ,有以下式子成立 : 
    这里写图片描述

证明如下: 
这里写图片描述

Laplacian Eigenmaps 拉普拉斯特征映射

Laplacian Eigenmaps 是用局部的角度去构建数据之间的关系。如果两个数据实例i和j很相似,那么i和j在降维后目标子空间中应该尽量接近。它的直观思想是希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能的靠近。Laplacian Eigenmaps可以反映出数据内在的流形结构。 
这里写图片描述

使用时算法具体步骤为:

步骤1:构建图

使用某一种方法来将所有的点构建成一个图,例如使用KNN算法,将每个点最近的K个点连上边。K是一个预先设定的值。这样构建的图矩阵就是一个稀疏矩阵,只保留了最相似的K个邻居关系。

步骤2:确定权重

确定点与点之间的权重大小,例如选用热核函数来确定(当然这个地方你完全可以选择其他的相似度度量方式来衡量),如果点i和点j相连,那么它们关系的权重设定为:

这里写图片描述

使用最小的m个非零特征值对应的特征向量作为降维后的结果输出。

前面提到过,Laplacian Eigenmap具有区分数据点的特性,可以从下面的例子看出: 
这里写图片描述

见图1所示,左边的图表示有两类数据点(数据是图片),中间图表示采用Laplacian Eigenmap降维后每个数据点在二维空间中的位置,右边的图表示采用PCA并取前两个主要方向投影后的结果,可以清楚地看到,在此分类问题上,Laplacian Eigenmap的结果明显优于PCA。

非常见降维方法:Laplacian Eigenmaps 拉普拉斯特征映射

拉普拉斯矩阵Laplacian matrix 的定义谈到机器学习中的降维技术,可能大多数了解一点机器学习的朋友都知道PCA,今天为大家介绍一种新的降维方法——拉普拉斯特征映射 拉普拉斯矩阵(Lapl...
  • dylanzr
  • dylanzr
  • 2016-06-17 10:47:16
  • 6821

拉普拉斯特征图降维及其python实现

这种方法假设样本点在光滑的流形上,这一方法的计算数据的低维表达,局部近邻信息被最优的保存。以这种方式,可以得到一个能反映流形的几何结构的解。 步骤一:构建一个图G=(V,E),其中V={vi,i=1...
  • HUSTLX
  • HUSTLX
  • 2016-03-10 21:35:29
  • 2405

Laplacian Eigenmaps 拉普拉斯特征映射

Laplacian Eigenmaps  继续写一点经典的降维算法,前面介绍了PCA,LDA,LLE,这里讲一讲Laplacian Eigenmaps。其实不是说每一个算法都比前面的好,而是每一个算...
  • qq_18343569
  • qq_18343569
  • 2015-12-08 21:03:54
  • 988

拉普拉斯矩阵/映射/聚类

拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。...
  • yujianmin1990
  • yujianmin1990
  • 2015-09-13 20:56:01
  • 6974

拉普拉斯特征映射程序代码

  • 2012年09月07日 14:01
  • 2KB
  • 下载

LE(拉普拉斯特征谱)

*LE算法 **基本思想 LE是Belkin和Niyogi在2002年提出的基于谱图理论的Laplacian特征映射算法。Belkin等人发现流形Laplician-Beltrami算子的特征函数...
  • PING_ASI
  • PING_ASI
  • 2017-06-12 14:12:12
  • 1053

graph Laplacian 拉普拉斯矩阵

拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。 什么是拉普拉斯矩阵 拉普拉斯矩阵   先说一下什么是拉普拉斯矩阵,英文名为Laplaci...
  • Twenty_seven
  • Twenty_seven
  • 2017-01-27 21:01:53
  • 4507

拉普拉斯矩阵

1、拉普拉斯矩阵 拉普拉斯矩阵(Laplacian matrix) 也叫做导纳矩阵、基尔霍夫矩阵或离散拉普拉斯算子,主要应用在图论中,作为一个图的矩阵表示。 2、定义 3、示例...
  • xiaoshengforever
  • xiaoshengforever
  • 2013-12-03 13:17:06
  • 1228

图的拉普拉斯矩阵(Graph Laplacians)

Definition 如前述文章“图的基本知识”中所述,对于一个具有个顶点的图 ,用对角阵描述图各顶点的度,矩阵为其邻接矩阵,则定义Laplacian matrix为:   对于一个无向...
  • zwwkity
  • zwwkity
  • 2013-02-06 10:38:22
  • 15155

图的拉普拉斯矩阵学习-Laplacian Matrices of Graphs

We all learn one way of solving linear equations when we first encounter linearalgebra: Gaussian Eli...
  • chjjunking
  • chjjunking
  • 2010-10-11 23:18:00
  • 11039
收藏助手
不良信息举报
您举报文章:降维方法:Laplacian Eigenmaps (拉普拉斯特征映射)——拉普拉斯矩阵
举报原因:
原因补充:

(最多只允许输入30个字)