数据降维——Isomap

模型原型
class sklearn.manifold.Isomap(n_neighbors=5,n_components=2,eigen_solver=’auto’,tol=0,max_iter=300,path_method=’auto’,neighbors_algorithm=’auto’)
参数

• n_neighbors:近邻参数k
• n_components:指定低维的维数
• eigen_solver:指定求解特征值的算法
  
  • ’auto’:由算法自动选取
  • ‘arpack’:Arpack分解算法
  • ‘dense’:使用一个直接求解特征值的算法（如LAPACK）
• tol:求解特征算法的收敛阙值
• max_iter
• path_method:指定寻找最短路径的算法
  
  • ’auto’:由算法自动选取
  • ‘FW’:使用Floyd_Warshall算法
  • ‘D’:使用Dijkstra算法
• neighbors_algorithm:指定计算最近邻的算法
  
  • ’ball_tree’:使用BallTree算法
  • ‘kd_tree’:使用KDTree算法
  • ‘brute’:使用暴力搜索法

属性
- embedding_
- trainingdata:存储了原始训练数据
- distmatrix:存储了原始训练数据的距离矩阵

方法
- fit(X[,y,init])
- transform(X):转换X到低维空间
- fit_transform(X,[,y]):训练模型并将原始数据集转换到低维坐标
- reconstruction_error():计算重构误差

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets,decomposition,manifold

加载数据

def load_data():
    iris=datasets.load_iris()
    return iris.data,iris.target

使用Isomap类

def test_Isomap(*data):
    X,y=data
    for n in [4,3,2,1]:
        isomap=manifold.Isomap(n_components=n)
        isomap.fit(X)
        print('reconstruction_error(n_components=%d):%s'%(n,
            isomap.reconstruction_error()))

X,y=load_data()
test_Isomap(X,y)

降维后的样本分布图

def plot_Isomap(*data):
    X,y=data
    Ks=[1,5,25,y.size-1]
    fig=plt.figure()
    for i,k in enumerate(Ks):
        isomap=manifold.Isomap(n_components=2,n_neighbors=k)
        X_r=isomap.fit_transform(X)
        ax=fig.add_subplot(2,2,i+1)
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2),)
        for label,color in zip(np.unique(y),colors):
            position=y==label
            ax.scatter(X_r[position,0],X_r[position,1],label='target=%d'%label,color=color)
        ax.set_xlabel('X[0]')
        ax.set_ylabel('X[1]')
        ax.legend(loc='best')
        ax.set_title("k=%d"%k)
    plt.suptitle('Isomap')
    plt.show()

plot_Isomap(X,y)

将原始数据的特征直接压缩到一维

def plot_Isomap_k_d1(*data):
    X,y=data
    Ks=[1,5,25,y.size-1]
    fig=plt.figure()
    for i,k in enumerate(Ks):
        isomap=manifold.Isomap(n_components=2,n_neighbors=k)
        X_r=isomap.fit_transform(X)
        ax=fig.add_subplot(2,2,i+1)
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2),)
        for label,color in zip(np.unique(y),colors):
            position=y==label
            ax.scatter(X_r[position],np.zeros_like(X_r[position]),label='target=%d'%label,color=color)
        ax.set_xlabel('X[0]')
        ax.set_ylabel('Y')
        ax.legend(loc='best')
        ax.set_title("k=%d"%k)
    plt.suptitle('Isomap')
    plt.show()

plot_Isomap_k_d1(X,y)