拉普拉斯特征图降维及其python实现

这种方法假设样本点在光滑的流形上,这一方法的计算数据的低维表达,局部近邻信息被最优的保存。以这种方式,可以得到一个能反映流形的几何结构的解。

步骤一:构建一个图G=(V,E),其中V={vii=1,2,3…n}是顶点的集合,E={eij}是连接顶点的vivj边,图的每一个节点vi与样本集X中的一个点xi相关。如果xixj相距较近,我们就连接vivj。也就是说在各自节点插入一个边eij,如果Xjxik领域中,k是定义参数。

步骤二:每个边都与一个权值Wij相对应,没有连接点之间的权值为0,连接点之间的权值:

clip_image002[4]

步骤三:令clip_image004[4]实现广义本征分解:

clip_image006[4]

使clip_image008[4]是最小的m+1个本征值。忽略与clip_image010[4]=0相关的本征向量,选取另外m个本征向量即为降维后的向量。

1python实现拉普拉斯降维

[python] view plain copy
  1. def laplaEigen(dataMat,k,t):  
  2.     m,n=shape(dataMat)  
  3.     W=mat(zeros([m,m]))  
  4.     D=mat(zeros([m,m]))  
  5.     for i in range(m):  
  6.         k_index=knn(dataMat[i,:],dataMat,k)  
  7.         for j in range(k):  
  8.             sqDiffVector = dataMat[i,:]-dataMat[k_index[j],:]  
  9.             sqDiffVector=array(sqDiffVector)**2  
  10.             sqDistances = sqDiffVector.sum()  
  11.             W[i,k_index[j]]=math.exp(-sqDistances/t)  
  12.             D[i,i]+=W[i,k_index[j]]  
  13.     L=D-W  
  14.     Dinv=np.linalg.inv(D)  
  15.     X=np.dot(D.I,L)  
  16.     lamda,f=np.linalg.eig(X)  
  17. return lamda,f  
  18. def knn(inX, dataSet, k):  
  19.     dataSetSize = dataSet.shape[0]  
  20.     diffMat = tile(inX, (dataSetSize,1)) - dataSet  
  21.     sqDiffMat = array(diffMat)**2  
  22.     sqDistances = sqDiffMat.sum(axis=1)  
  23.     distances = sqDistances**0.5  
  24.     sortedDistIndicies = distances.argsort()      
  25. return sortedDistIndicies[0:k]  
  26. dataMat, color = make_swiss_roll(n_samples=2000)  
  27. lamda,f=laplaEigen(dataMat,11,5.0)  
  28. fm,fn =shape(f)  
  29. print 'fm,fn:',fm,fn  
  30. lamdaIndicies = argsort(lamda)  
  31. first=0  
  32. second=0  
  33. print lamdaIndicies[0], lamdaIndicies[1]  
  34. for i in range(fm):  
  35.     if lamda[lamdaIndicies[i]].real>1e-5:  
  36.         print lamda[lamdaIndicies[i]]  
  37.         first=lamdaIndicies[i]  
  38.         second=lamdaIndicies[i+1]  
  39.         break  
  40. print first, second  
  41. redEigVects = f[:,lamdaIndicies]  
  42. fig=plt.figure('origin')  
  43. ax1 = fig.add_subplot(111, projection='3d')  
  44. ax1.scatter(dataMat[:, 0], dataMat[:, 1], dataMat[:, 2], c=color,cmap=plt.cm.Spectral)  
  45. fig=plt.figure('lowdata')  
  46. ax2 = fig.add_subplot(111)  
  47. ax2.scatter(f[:,first], f[:,second], c=color, cmap=plt.cm.Spectral)  
  48. plt.show()  

2、拉普拉斯降维实验

用如下参数生成实验数据存在swissdata.dat里面:

[python] view plain copy
  1. def make_swiss_roll(n_samples=100, noise=0.0, random_state=None):  
  2.     #Generate a swiss roll dataset.  
  3.     t = 1.5 * np.pi * (1 + 2 * random.rand(1, n_samples))  
  4.     x = t * np.cos(t)  
  5.     y = 83 * random.rand(1, n_samples)  
  6.     z = t * np.sin(t)  
  7.     X = np.concatenate((x, y, z))  
  8.     X += noise * random.randn(3, n_samples)  
  9.     X = X.T  
  10.     t = np.squeeze(t)  
  11. return X, t  

实验结果如下:

N=5t=15             N=7t=15            N=9t=15

clip_image012[4]clip_image014[4]clip_image016[4]

N=11t=15             N=13t=15            N=15t=15

clip_image018[4]clip_image020[4]clip_image022[4]

N=17t=15             N=19t=15            N=21t=15

clip_image024[4]clip_image026[4]clip_image028[4]

N=23t=15             N=25t=15            N=27t=15

clip_image030[4]clip_image032[4]clip_image034[4]

N=29t=15             N=31t=15            N=33t=15

 

clip_image036[4]clip_image038[4]clip_image040[4]

N=25t=5              N=25t=8           N=25t=10

clip_image042[4]clip_image044[4]clip_image046[4]

N=25t=12            N=25t=14               N=25t=50

clip_image048[4]clip_image050[4]clip_image052[4]

N=25t=Inf

clip_image054[4]

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页