机器学习 --- 局部线性嵌入

第1关：局部线性嵌入

#encoding=utf8 
import numpy as np

def lle(data,d,k):
    '''
    input:data(ndarray):待降维数据,行数为样本个数，列数为特征数
          d(int):降维后数据维数
          k(int):最近的k个样本
    output:Z(ndarray):降维后的数据
    '''
    #********* Begin *********#
    #确定样本i的邻域

        #求矩阵c及其逆

        #求w

    #求得M并矩阵分解

    #求Z
    # 获取样本数量和特征维度
    n_samples, n_features = data.shape
    
    # 计算欧氏距离矩阵
    dist_matrix = np.zeros((n_samples, n_samples))
    for i in range(n_samples):
        for j in range(n_samples):
            dist_matrix[i, j] = np.linalg.norm(data[i] - data[j])
    
    # 初始化权重矩阵
    W = np.zeros((n_samples, n_samples))
    
    # 对每个样本计算其最近的k个邻居
    for i in range(n_samples):
        indices = np.argsort(dist_matrix[i])[1:k+1]  # 排除自身，取最近的k个邻居
        Z = data[indices]  # 邻居样本矩阵
        Z -= np.mean(Z, axis=0)  # 中心化邻居样本
        
        # 计算邻居样本的协方差矩阵
        C = np.dot(Z, Z.T)
        
        # 计算权重向量
        w = np.linalg.solve(C, np.ones(k))
        w /= np.sum(w)
        
        # 更新权重矩阵
        for j in range(k):
            W[i, indices[j]] = w[j]
    
    # 计算降维后的数据
    M = np.eye(n_samples) - W.T - W + np.dot(W.T, W)
    eigvals, eigvecs = np.linalg.eig(M)
    indices = np.argsort(np.abs(eigvals))[1:d+1]
    Z = eigvecs[:, indices]
    #********* End *********#
    return Z    

第2关：sklearn中的局部线性嵌入

# -*- coding: utf-8 -*-
from sklearn.manifold import LocallyLinearEmbedding

def lle(data,d,k):
    '''
    input:data(ndarray):待降维数据
          d(int):降维后数据维度
          k(int):邻域内样本数
    output:Z(ndarray):降维后数据
    '''
    #********* Begin *********#
    # 创建 LLE 对象
    lle = LocallyLinearEmbedding(n_components=d, n_neighbors=k)
    
    # 进行降维
    Z = lle.fit_transform(data)
    #********* End *********#
    return Z