主成分回归和局部线性嵌入

最新推荐文章于 2024-10-13 21:11:07 发布
最新推荐文章于 2024-10-13 21:11:07 发布
阅读量837 收藏 6
点赞数 29
分类专栏： # 降维算法 文章标签： 回归 数据挖掘 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LS_Ai/article/details/140854732
版权

主成分回归 (Principal Component Regression, PCR)

主成分回归（PCR）是一种结合主成分分析（PCA）和线性回归的降维方法，通过在回归之前使用 PCA 将数据投影到低维空间，可以有效减少多重共线性对模型的影响。

原理

PCR 通过首先对特征矩阵进行 PCA 分解，然后使用前几个主要成分作为新的特征进行线性回归。这样做可以减少特征间的共线性，提升回归模型的稳定性和预测性能。

公式推理
  1. 主成分分析： 给定特征矩阵 X，通过 PCA 进行特征分解，得到主成分矩阵 Z 和投影矩阵 P：

其中，P 是特征向量矩阵，主成分矩阵 Z 只保留前 k 个主成分。

  1. 线性回归： 使用主成分矩阵 Z 进行线性回归：

其中，B 是回归系数，ϵ 是误差项。

  1. 回归系数估计： 通过最小二乘法估计回归系数 B：

经典案例

案例：PCR 在波士顿房价数据集上的应用

加州房价数据集实际上有 20640 个样本，每个样本有 8 个特征，通过 PCR 对数据进行降维，并进行回归预测。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 加载加州房价数据集
housing = fetch_california_housing()
X = housing.data
y = housing.target

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 使用 PCA 进行降维
pca = PCA(n_components=5)
X_pca = pca.fit_transform(X_scaled)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_pca, y, test_size=0.2, random_state=42)

# 线性回归
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 预测
y_pred = regressor.predict(X_test)

# 评估
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse}')

# 可视化回归结果
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, edgecolor='k', alpha=0.7, color='b')
plt.plot([min(y_test), max(y_test)], [min(y_test), max(y_test)], 'k--', lw=2)
plt.xlabel('Actual')
plt.ylabel('Predicted')
plt.title('PCR Predicted vs Actual')
plt.show()
代码解析
  1. 加载房价数据集：使用 load_boston 函数加载房价数据集，包括特征矩阵 X 和目标向量 y。
  2. 标准化数据：使用 StandardScaler 对数据进行标准化处理，使得每个特征具有零均值和单位方差。
  3. 使用 PCA 进行降维：创建 PCA 对象并将数据降到 5 维。
  4. 划分训练集和测试集：使用 train_test_split 函数将数据划分为训练集和测试集。
  5. 线性回归：创建线性回归对象并在训练集上进行训练。
  6. 预测和评估：在测试集上进行预测，并计算均方误差（MSE）评估模型性能。
  7. 可视化回归结果：绘制预测值与实际值的散点图，直观展示模型的预测效果。

修正代码

在进行分析时，我们可以选取一部分数据进行处理，以提高速度和效率。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 加载房价数据集
housing = fetch_california_housing()
X = housing.data
y = housing.target

# 为了更快地处理数据，随机选择1000个样本进行分析
np.random.seed(42)
indices = np.random.choice(X.shape[0], 1000, replace=False)
X = X[indices]
y = y[indices]

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 使用 PCA 进行降维，降到 5 维
pca = PCA(n_components=5)
X_pca = pca.fit_transform(X_scaled)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_pca, y, test_size=0.2, random_state=42)

# 线性回归
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 预测
y_pred = regressor.predict(X_test)

# 评估
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse:.4f}')

# 可视化回归结果
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, edgecolor='k', alpha=0.7, color='b')
plt.plot([min(y_test), max(y_test)], [min(y_test), max(y_test)], 'k--', lw=2)
plt.xlabel('Actual')
plt.ylabel('Predicted')
plt.title('PCR Predicted vs Actual')
plt.grid(True)
plt.show()
代码说明
  1. 数据集加载：使用 fetch_california_housing() 函数加载房价数据集。
  2. 随机样本选择：从中随机选择1000个样本，以加快计算。
  3. 数据标准化：通过 StandardScaler 对特征进行标准化，使数据均值为0，方差为1。
  4. PCA降维：通过 PCA 将特征从原始8维降至5维，以减少特征数量。
  5. 训练测试集划分：使用 train_test_split 将数据集分为训练集和测试集，测试集占20%。
  6. 线性回归模型：使用 LinearRegression 训练模型并进行预测。
  7. 评估及可视化：计算均方误差（MSE），并通过散点图展示实际值和预测值的比较。

代码展示了如何利用 PCR 对高维数据进行降维，并通过线性回归模型进行预测，有助于理解 PCR 在回归任务中的应用。

局部线性嵌入 (Locally Linear Embedding, LLE)

局部线性嵌入（LLE）是一种非线性降维方法，它通过保留数据局部邻域的线性结构，将高维数据嵌入到低维空间，广泛用于数据可视化和流形学习。

原理

LLE 假设高维数据点在低维流形上近似线性关系。通过找到每个数据点的局部邻域并计算其在邻域内的线性重构权重，然后在低维空间中找到这些权重的最佳嵌入，保持局部线性结构不变。

公式推理
  1. 选择邻居： 对于每个数据点 xi，找到其最近的 K 个邻居 xj。
  2. 计算重构权重： 对于每个数据点 xi，计算其邻居 xj 的重构权重 wij，使得 xi 可以用其邻居的线性组合重构：

通过最小化重构误差来计算权重：

约束条件：

  1. 低维嵌入： 在低维空间中找到数据点的嵌入坐标 yi，保持重构权重不变：

通过最小化嵌入误差来计算低维坐标：

经典案例

案例：LLE在手写数字识别数据集上的应用

我们将使用经典的MNIST数据集，它包含了大量的手写数字图片，每张图片是28x28像素的灰度图像，共有10个类别（0到9）。通过LLE将MNIST数据集从784维降到2维，并可视化不同数字在降维空间的分布。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_openml
from sklearn.manifold import LocallyLinearEmbedding
from sklearn.preprocessing import StandardScaler

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1)
X = mnist.data.astype('float64')
y = mnist.target.astype('int64')

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 使用LLE进行降维到2维
lle = LocallyLinearEmbedding(n_components=2, n_neighbors=10, random_state=42)
X_lle = lle.fit_transform(X_scaled)

# 可视化
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_lle[:, 0], X_lle[:, 1], c=y, cmap='tab10', edgecolor='k', s=20)
plt.colorbar(scatter, label='Digit', ticks=range(10))
plt.title('LLE of MNIST Dataset')
plt.xlabel('Component 1')
plt.ylabel('Component 2')
plt.grid(True)
plt.show()
代码解析
  1. 加载MNIST数据集：使用 fetch_openml 函数加载MNIST数据集，包括特征矩阵 X 和目标向量 y。
  2. 标准化数据：使用 StandardScaler 对数据进行标准化处理，使得每个特征具有零均值和单位方差。
  3. 使用LLE进行降维：创建 LLE 对象并将数据降到 2 维。参数 n_components 指定降维后的维度，n_neighbors 指定每个点的邻居数量。
  4. 可视化：绘制降维后的数据分布，不同颜色表示不同数字类别。
修改代码

降维操作，特别是在高维数据集（如MNIST）上使用非线性方法（如LLE）时，可能会非常耗时。为了加快运算速度，可以考虑以下几种方法：

  1. 减少样本数量：只使用部分样本进行LLE计算。例如，随机选择一定数量的样本。
  2. 降低数据维度：在应用LLE之前，使用PCA先将数据降维（例如，降到50维），然后再应用LLE。
  3. 调整LLE参数：减少邻居数量（n_neighbors）或降维后的维度（n_components），但这些可能会影响降维效果。

以下是改进后的代码示例，结合减少样本和应用PCA预降维：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_openml
from sklearn.manifold import LocallyLinearEmbedding
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1, parser='liac-arff', as_frame=False)
X = mnist.data.astype('float64')
y = mnist.target.astype('int64')

# 仅使用1000个随机样本
np.random.seed(42)
indices = np.random.choice(X.shape[0], 1000, replace=False)
X_sample = X[indices]
y_sample = y[indices]

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_sample)

# 使用PCA预降维到50维
pca = PCA(n_components=50, random_state=42)
X_pca = pca.fit_transform(X_scaled)

# 使用LLE进行降维到2维
lle = LocallyLinearEmbedding(n_components=2, n_neighbors=10, random_state=42)
X_lle = lle.fit_transform(X_pca)

# 可视化
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_lle[:, 0], X_lle[:, 1], c=y_sample, cmap='tab10', edgecolor='k', s=20)
plt.colorbar(scatter, label='Digit', ticks=range(10))
plt.title('LLE of MNIST Dataset (1000 samples)')
plt.xlabel('Component 1')
plt.ylabel('Component 2')
plt.grid(True)
plt.show()
代码说明
  1. 随机抽样：我们使用 np.random.choice 来选择 1000 个随机样本。这显著减少了计算时间。
  2. PCA 预处理：通过先用 PCA 将数据降到 50 维，降低了 LLE 的计算负担。
  3. LLE 计算：应用于降维后的数据，使得计算更加高效。

代码展示了如何利用 LLE 对高维数据进行降维，并通过可视化直观地展示了降维后数据的分布情况，有助于理解 LLE 在数据可视化中的应用。

Jr_l
关注
专栏目录
【进阶版】 机器学习之主成分分析（PCA）、MDS算法、核化线性降维 （16）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1503
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
主成分分析(PCA)和局部线性嵌入（LEE）原理详解
superzzx0920的博客
05-05 5311
从KNN谈“维度灾难”，介绍线性降维PCA和局部线性嵌入LLE 这两种降维方法的原理
如何选择合适的局部线性嵌入方法
AI天才研究院
01-08 777
1.背景介绍 近年来，随着大数据技术的发展，数据的规模不断增长，人们需要对这些大规模数据进行处理和分析。在这种情况下，局部线性嵌入(Local Linear Embedding，LLE)成为了一种非常有效的方法，可以用于降维和数据可视化。在这篇文章中，我们将详细介绍局部线性嵌入方法的核心概念、算法原理、具体操作步骤以及数学模型公式。同时，我们还将通过具体代码实例来解释其实现过程，并探讨其未来发展...
【机器学习】降维与度量学习 | 多维度嵌入，主成分分析，核化线性降维
专注于人工智能的算法与应用
03-18 820
等度量映射的基本思想是首先通过近邻图（neighborhood graph）来估计数据点之间的测地距离，然后利用多维缩放（MDS）等技术将高维数据映射到低维空间中，使得在低维空间中的欧氏距离尽可能地近似于在高维空间中的测地距离。核化线性降维的基本思想是，在将数据映射到高维空间之后，利用核技巧（Kernel Trick）将高维空间中的内积操作替换为核函数的计算，从而避免了直接计算高维空间的特征向量，减少了计算复杂度。KNN其实没有显式的训练过程，它是懒惰学习的代表，而之前学的是急切学习，
数据降维——主成分分析、因子分析、线性判别分析
weixin_33989058的博客
04-18 1191
数据降维就是降低数据的维度，有两种方式： 1、一种是特征选择：直接选取原有维度的一部分参与后续的计算和建模过程，用选择的维度替代所有维度，整个过程不产生新的维度。 方法： （1）经验法：根据业务经验选择 （2）测算法：通过不断测试多种维度选择参与计算，通过结果来反复验证和调整并最终找到最佳特征方案 （3）统计分析方法：通过相关性分析不同维度间的线性相关性，在相关性高的维度中进行人工去除或...
从线性回归到深度学习（无代码），重在理解基本概念和流程。
技术与健康
08-10 1275
在这本书里，我们将深入探讨回归分析。回归分析是一种强大的统计工具，能够帮助我们理解变量之间的关系，并进行预测。在开始之前，我们先来了解一些基本概念和背景知识。在这本书里，我们将深入探讨回归分析。回归分析是一种强大的统计工具，能够帮助我们理解变量之间的关系，并进行预测。在开始之前，我们先来了解一些基本概念和背景知识。回归分析是一种统计方法，用于研究和建模一个或多个自变量（解释变量）与因变量（响应变量）之间的关系。简单来说，就是找到一种方法，用自变量的值来预测因变量的值。
机器学习——主成分分析PCA
xiao_lxl的专栏
08-19 3060
文章目录降维PCA 算法PCA的原理及目标函数PCA的求解方法PCA 最小平方误差理论问题描述分析 机器学习十大算法——主成分分析 降维 宇宙，是时间和空间的总和。时间是一维的，而空间的维度，众说纷纭，至今没有定论。弦理论说是9维，霍金所认同M理论则认为是10维。它们解释说人类所能感知的三维以外的维度都被卷曲在了很小的空间尺度内。当然，谈及这些并不是为了推销《三体》系列读物，更不是引导读者探索宇宙...
降维算法（LASSO、PCA、聚类分析、小波分析、线性判别分析、拉普拉斯特征映射、局部线性嵌入）
热门推荐
qrlhl的博客
09-22 1万+
1、LASSOLASSO全称least absolute shrinkage and selection operator，本身是一种回归方法。与常规回归方法不同的是，LASSO可以对通过参数缩减对参数进行选择，从而达到降维的目的。说到LASSO，就不得不说岭回归，因为LASSO就是针对岭回归不能做参数选择的问题提出来的。关于岭回归的解释，可以参照我的另一篇文章预测数值型数据：回归（二），这里不再赘
4. PySpark回归模型简明教程
chendengyi2的博客
07-30 710
使用线性回归模型LinearRegression类预测小费。数据集tips共有244个样本，各字段的含义如下：total_bill：顾客的总账单金额（美元）。这个字段表示顾客在餐厅消费的总金额，是小费金额计算的一个重要参考。sex：顾客的性别。通常表示为“Male”（男性）或“Female”（女性）。这个字段用于分析性别是否对小费金额有影响。smoker：顾客是否吸烟。通常表示为“Yes”（是）或“No”（否）。这个字段用于分析吸烟习惯是否与小费金额有关。day：用餐的星期几。
主成分分析法matlab
10-17
主成分分析（Principal Component Analysis，PCA）是一种统计学方法，用于数据降维和特征提取。...在实际应用中，可以考虑结合其他降维方法，如独立成分分析（ICA）、局部线性嵌入（LLE）等，以适应不同的数据特性。
zhuchengfen.rar_主成分分析
09-23
主成分分析（Principal Component Analysis，PCA）是一种...此外，主成分分析假设数据的分布是线性的，对于非线性结构的数据，可能需要考虑其他降维方法，如主成分分析的非线性变种——局部线性嵌入（LLE）或Isomap等。
第十届MathorCup高校数学建模挑战赛-A题：基于 logistic 回归和 DEA 模型对无车承运平台线路定价问题的优化和评价
getusushu的博客
10-10 333
成交对象和需求类型 2，第三主成分-打包类型和执行时间，第四主成分-车辆长度和业务类型，6、在打包类型中，单边用数值 1 表示，周期流向用数值 2 表示，人工用数值 3 表示，程、业务类型、需求类型 1、需求类型 2、执行时间、成交对象、车辆长度、车辆吨位、打。5、在运输等级中，一级运输用数值 1 表示，二级运输用数值 2 表示，三级运输用数值。7、在需求紧急程度中，常规订单用数值 1 表示，紧急订单用数值 2 表示，特急订单用。取的指标和线路指导价做多元线性回归分析，去除线性无关的指标。
《机器学习与数据挖掘综合实践》实训课程教学解决方案
whwzzc的博客
10-12 2167
机器学习与数据挖掘综合实践》实训课程的教学解决方案，通过科学的目标设定、系统的内容组织、创新的教学方法、实用的实训平台构建以及有效的评估反馈机制，旨在构建一个以学生为中心，注重理论与实践结合，鼓励创新与合作的学习环境。其核心目标在于通过自动化的方式，让机器能够识别、理解和预测数据中的模式和规律。总之，方案建立了全面而科学的评估与反馈机制，旨在通过多元化的评价手段、即时的反馈和定期的教师研讨会来全面评估学生的学习成效，帮助学生更好地掌握知识和技能，同时也不断优化教学内容和教学方法，以提供更优质的教学服务。
线性判别器LDA
qq_52421831的博客
10-10 1145
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 188
论文创新点，将注意力机制 和卷积 相结合。
骨架提取（持续更新）
最新发布
xiongmaowangd的博客
10-13 336
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
文本区域分割系统源码＆数据集分享
lzmlzm89的博客
10-08 1364
数据集信息展示在现代计算机视觉领域，文本区域分割的研究日益受到重视，尤其是在处理文档图像和名片等场景时。为此，我们构建了一个名为“more2”的数据集，旨在为改进YOLOv8-seg模型提供丰富的训练素材，以提升其在文本区域分割任务中的表现。该数据集包含五个类别，具体包括“0”、“2”、“business-name-card”、“doc”和“wendang”，每个类别均具有独特的特征和应用场景，能够为模型的训练提供多样化的样本。
2024人工智能现状：未来已至，你准备好了吗？
weixin_41496173的博客
10-12 887
在科技飞速发展的今天，人工智能（AI）已经不再只是科幻小说中的概念。随着各大科技公司和研究机构在AI领域的投入加大，AI技术正在逐步渗透到我们生活的方方面面。2024年，AI不仅在科研上取得了巨大突破，在产业应用、政策法规、安全等方面也有了显著的进展。本文将带您深入探讨[《2024人工智能现状报告》（**State of AI Report 2024**）](https://www.stateof.ai/)中的关键内容，帮助您了解AI的现状及其未来趋势。
降维技术解析：从线性到非线性方法
降维方法主要包括线性和非线性两种，如主成分分析(PCA)、独立成分分析(ICA)、局部线性嵌入(LLE)等。 标题中的"白板推导5降维1"可能指的是一个教学或讨论过程，用白板讲解降维技术的第一个关键步骤，即特征值分解。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值