PCA降维后出现准确率低的问题的一种解决方法经验

最新推荐文章于 2021-12-03 14:34:01 发布
最新推荐文章于 2021-12-03 14:34:01 发布
阅读量8.3k 收藏 9
点赞数 5
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_green__hand/article/details/104527542
版权

本文主要记录在学习PCA时，对训练和测试集分别降维后出现准确率低情况的解决方案

使用MNIST数据集，以linearSVC作为分类器，练习PCA降维。

用MNIST提供的所有训练数据训练分类器后，使用MNIST提供的测试集，准确率达到0.83。

但是在PCA降维，并取80%的特征后，准确率仅仅0.26。

究其原因，我首先将训练集PCA至80%特征(149维)，为了使用linearSVC的predict()函数，我又用PCA将测试集数据降至149维。

在上一段就出现了错误: 两个数据集分别经过PCA降维之后，已经成为完全不同的数据——我还未考虑其中的数学原理，但就实验结果来看，必须要将所有数据放在一起降维，然后再使用sklearn 中的train_test_split()划分训练与测试集。此时，准确率达到了0.9。

但是这个结果也很奇怪——它(56,000)高于使用所有训练集(60,000)的准确率。

可能因为去除了噪声?我还没有花时间去想。

欢迎指正，欢迎大家讨论!

谢谢!

墨放
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
机器学习-数据降维算法
zhuimeng999的专栏
05-28 227
姓名：Jyx 班级：csdn人工智能直通车-5期 描述：这是本人在学习人工智能时的学习笔记，加深理解 降维的意义 在实际的机器学习案例里，因为我们不能完全的知道那些信息有用，而倾向于收集跟多的信息。这就导致样本非常多，而每个样本数也特别多。直接在这样的样本上进行学习，计算成本非常高。 在对于给定样本数量，有一个特别的峰值现象，就是随着提供的特征增加，预测效果通常不...
PCA降维
qq_34229228的博客
10-30 1503
1、赔率 2、公交车堵车模型 fuzzywuzzy-Levenshein distance（边际距离） 一个包，用于字符串的模糊查询与替换 3、PCA 引入PCA降维的原因是由于“维数灾难”，在机器学习中，过多的特征有时会使分类结果更差；或者是该特征是冗余特征。“维数灾难”是指计算量急剧增加，而分类精度下降。 PCA降维，就是将高维特征（n维）投影到低维子空间（k维），从而实现特征的融合。 1)...
PCA LDA降维测试
lerry的博客
08-17 974
测试概述 该实验的主要目的是测试LDA（Linear Discriminant Analysis，线性判别分析）和PCA（Principal components analysis，主成分分析）的降维效果（主要是训练时间）。训练模型使用SVM算法。降维（PCA LDA）和训练（SVM）均是调用python的sklearn库，所有代码都在程序中给出。 每次使用相同数据集，通过三种不同方式测试，分...
8个提高机器学习模型的准确率的方法
大数据技术杂谈
02-15 5183
模型的开发周期有多个不同的阶段，从数据收集开始直到模型建立。 不过，在通过探索数据来理解（变量的）关系之前，建议进行假设生成（hypothesis generation）步骤（如果想了解更多有关假设生成的内容，推荐阅读（why-and-when-is-hypothesis-generation-important）。我认为，这是预测建模过程中最被低估的一个步骤。 花时间思考要回答的问题
机器学习（四）对PCA降维后的手写体数字图片数据分类
weixin_49041703的博客
12-03 3052
机器学习（四）对PCA降维后的手写体数字图片数据分类 一： 实验内容： 使用sklearn.decomposition的PCA类对手写体数字图片数据进行降维；使用sklearn.neural_network的MLPClassifier类对降维后的数据训练分类模型，对测试数据进行分类，要求分类准确率达到80%以上。 from sklearn.neural_network import MLPClassifier from sklearn.decomposition import PCA import nump
机器学习笔记＜一＞：PCA降维详解
weixin_43511171的博客
03-03 2207
前言 本篇文章主要从对PCA的降维的直观理解、数学推导以及简单代码实现等方面对PCA降维进行讨论。 直观理解
利用PCA降维方法处理高光谱图像（matlab）
10-09
PCA，即主成分分析（Principal Component Analysis），是一种常见的数据分析方法，用于降低数据的维度并提取主要特征。在高光谱图像处理中，PCA被广泛应用于解决数据的高维性和相关性问题，它能够将原始的高维数据...
PCA.zip_PCA 降维_PCA算法降维_pca适用于_pca降维_图片降维
07-15
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，尤其在高维数据处理中，如人脸识别领域。PCA的主要目标是将原始的高维数据转换为一组线性不相关的低维特征，同时尽可能保留原始数据...
PCA.rar_PCA 降维_pca降维_监督降维
09-21
在描述中提到，使用这种有监督的PCA降维方法可以达到80%以上的识别率，这意味着这种方法在处理特定问题时已经相当有效。高识别率表明，经过降维后的特征仍然能够保留足够的信息，使得分类器能够准确地对样本进行分类...
一种新的降维算法PCA_LLE在图像识别中的应用.pdf
05-17
本文提出了一种新的降维算法PCA_LLE，它结合了PCA和LLE两种降维方法，优势互补，提高了降维效率和分类准确率。 1. 降维算法的概念和分类 降维算法是将高维度的数据转换为低维度的数据，以减少数据维度和提高数据...
PCA+mnist_PCA降维；KNN分类；mnist手写体_pypcaminist_K._python_MNIST降维_
10-03
在100维特征空间中，KNN算法能够以超过97%的准确率识别MNIST数据集的手写数字，这表明PCA降维后的特征仍然保留了足够的信息来进行高精度的分类。 `pca.py`是实现PCA和KNN算法的Python脚本。在这个脚本中，可能会...
PCA主成分分析【机器学习笔记简摘】
YPS的博客
10-23 523
定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。 应用：回归分析或者聚类分析当中（非监督学习算法) 降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。 原理推导 在一个二维平面内 下图左一是上述点在特征2方向上的映射（扔掉特征1属性），右一是点在特征1方向的映射（扔掉特征2属性）。右一点和点的距离更为稀疏，差异更大，更有区分度。如果让选择一种方案把上述二维的数据降到一.
传统的线性降维方法效果不佳。_线性降维——PCA
weixin_39854440的博客
11-24 292
阐述降维过后，最终使用的变量个数减少了，但特征选择挑选的是特征子集，也就是说，保留下来的所有特征都在原来的特征集中可以找到。而特征提取所提取的是不再是特征子集，而是原来特征的线性（或者非线性）组合，我们经过特征提取后的变量都是新的变量，它的本质是将原始高维空间向低维空间投影，我们所使用的特征不仅少了，而且不再是原来的特征。PCAPCA（principal components analysis）即...
通俗理解PCA降维作用
热门推荐
HLBoy_happy的博客
08-13 8万+
本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析）。降维致力于解决三类问题。 1. 降维可以缓解维度灾难问题； 2. 降维可以在压缩数据的同时让信息损失最小化； 3. 理解几百个维度的数据结构很困难，两三个维度的数据通过可视化更容易理解。。
特征工程系列之降维：用PCA压缩数据
Wenrui Xie的博客
05-07 3306
引言 降维是关于摆脱“无信息的信息”的同时保留关键点。有很多方法可以定义“无信息”。PCA 侧重于线性依赖的概念。我们将数据矩阵的列空间描述为所有特征向量的跨度。如果列空间与特征的总数相比较小，则大多数特征是几个关键特征的线性组合。如果在下一步管道是一个线性模型，然后线性相关的特征会浪费空间和计算能力。为了避免这种情况，主成分分析尝试去通过将数据压缩成更低维的线性来减少这种“绒毛”子空间。 在...
主成分回归python实现
qq_43315928的博客
06-10 1万+
主成分分析python实现 这是我一直都想写的内容，但是迟迟没有动手开始写，主要的原因是没有理解python中PCA降维后再进行回归时应该要怎么做。再网上查了很多资料，也没有这方面的讲解，书上也是讲到了PCA降维就结束了。以下是我使用R语言的思想写的code,日后若找到相关的内容再进行修改。 先介绍一下sklearn中PCA模型的参数及方法： 参数： n_components ： int，floa...
机器学习(五)：深入浅出PCA降维
LW的技术小筑
11-14 2356
一.前言 PCA可以说是业界使用的非常频繁的机器学习方法了，今天博主带领大家深入浅出PCA模型，相信看完本文你会对PCA有一个更加深刻的理解。话不多说，请看下文！！！ 二.理论介绍 2.1 什么是PCA PCA的英文全称是Principal Component Analysis，即主成分分析，它是一种常用的数据降维方法。数据降维指的是将高维空间中的数据在低维空间中进行表示，同时尽可能较少信息损失。通过数据降维可以提取合适的特征表示并避免维数灾难，数据降维在可视化方面也有着广泛的应用。 周志华的西瓜书中指出
基于Android备忘录和MP3播放器设计与实现.docx
最新发布
08-10
基于Android备忘录和MP3播放器设计与实现.docx
对PCA降维后的手写体数字图片数据分类结果分析
06-06
对PCA降维后的手写体数字图片数据进行分类后，需要对分类结果进行分析和评估。下面介绍几种常用的分类结果分析方法： 1. 混淆矩阵：混淆矩阵是一种常用的分类结果展示方式，可以显示每个类别的实际样本数和被正确分类的样本数。通过分析混淆矩阵可以了解模型在不同类别上的分类效果。 2. 准确率、召回率和 F1 值：准确率、召回率和 F1 值是常用的分类评估指标，可以从不同角度评估模型的分类效果。准确率表示被正确分类的样本数占总样本数的比例，召回率表示被正确分类的样本数占实际样本数的比例，F1 值是准确率和召回率的调和平均数。 3. ROC曲线和AUC值：ROC曲线和AUC值是评估二分类模型性能的重要指标，可以通过调整分类阈值来平衡模型的召回率和准确率。ROC曲线是以真正率（TPR）为纵轴，假正率（FPR）为横轴的曲线，AUC值是ROC曲线下的面积。 4. 误分类样本分析：对于误分类的样本，可以进一步分析其特征和分类错误的原因，从而改进模型和特征选择方法。 下面是一个简单的实例，演示了如何使用混淆矩阵和准确率、召回率和 F1 值对PCA降维后的手写体数字图片数据进行分类结果分析： ```R # 读入数据 test_data <- read.csv("test_data.csv", header=TRUE) test_label <- test_data$label # 进行分类 # ... # 混淆矩阵 conf_mat <- table(test_label, pred_label) print(conf_mat) # 准确率、召回率和 F1 值 accuracy <- sum(diag(conf_mat)) / sum(conf_mat) precision <- diag(conf_mat) / colSums(conf_mat) recall <- diag(conf_mat) / rowSums(conf_mat) f1_score <- 2 * precision * recall / (precision + recall) result <- data.frame(precision, recall, f1_score) print(result) ``` 需要注意的是，分类结果的好坏不仅取决于分类算法和模型参数选择，还取决于特征选择和数据质量。在实际应用中需要综合考虑多种因素，进行合理的特征选择和模型调整。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值