机器学习------PCA降维底层、数据预处理（标准化、二值化、独热）、管道

已于 2022-02-26 22:55:46 修改
阅读量598 收藏
点赞数
分类专栏： 机器学习及项目 文章标签： python 线性代数 机器学习
于 2021-12-11 19:20:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47405013/article/details/121825381
版权
该博客主要探讨PCA降维的两种方法，并详细介绍了数据预处理过程，包括使用pandas进行数据标准化、二值化和独热编码。此外，还讨论了如何在机器学习流程中应用管道来整合这些步骤。
摘要由CSDN通过智能技术生成

1.PCA降维底层

方法一：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

def pca(n_components,data):
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小飞龙程序员
关注
专栏目录
订阅专栏
机器学习-Sklearn（第三版）Day3 数据预处理（数据标准化&归一化&正则化）
weixin_43902376的博客
12-20 1944
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。（通常来说我们现实输入的特征矩阵都是一维以上的数据）
Python数据预处理和PCA、ICA、LDA降维的方法(实验代码)
sunnypaopao的博客
10-20 4072
常用的数据预处理方法 使用PCA、ICA、LDA降维方法
PCA-Preprocessing:PCA 作为数据分析的预处理工具
07-03
PCAP预处理 该存储库具有代码、输入数据集和有关在原始数据上使用 PCA 预处理的分析结果，然后再对数据进行进一步操作以进行数据分析或预测分析。
数据预处理——管道
最新发布
m0_70381931的博客
06-23 492
我们使用该类将不同的预处理步骤捆绑在一起#导入模块#对缺失值进行处理#对分类变量进行处理#strategy可以指定空值填充策略——对数值型变量进行处理#使用独热编码对分类型数据进行处理])#进行捆绑])
预处理方法
LZX1939的博客
10-13 237
数据预处理在众多深度学习算法中都起着重要作用，实际情况中，将数据做归一化和白化处理后，很多算法能够发挥最佳效果。当我们开始处理数据时，首先要做的事是观察数据并获知其特性。本部分将介绍一些通用的技术，在实际中应该针对具体数据选择合适的预处理技术。例如一种标准的预处理方法是对每一个数据点都减去它的均值（也被称为移除直流分量，局部均值消减，消减归一化），这一方法对诸如自然图像这类数据是有效的，...
机器学习数据预处理：数据降维之PCA
算法channel
12-05 1184
请点击上面公众号，免费订阅。　 《实例》阐述算法，通俗易懂，助您对算法的理解达到一个新高度。包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战。期待您的到来！ 01 — 回顾 到现在，已经总结了机器学习的： 回归算法之最小二乘方，脊回归，套索回归； 分类算法之逻辑回归，决策树分类，朴素贝叶斯决策，半朴素贝叶斯
PCA预处理
weixin_36423457的博客
04-26 716
PCA的作用将于在n维特征映射到k维上。 对于多维度的数据，需要做到的目标是 其中，var的值最大，使得数据之间的区分度较大，有更高的可区分度 sklearn的PCA处理 from sklearn.decomposition import PCA 将高维度数据映射到低位并且保证映射后数据的高可用 PCA操作，将原数据，映射到高维度在映射回低纬度降噪。 ...
机器学习之PCA降维.zip
06-17
在机器学习中，PCA常用于特征选择和数据可视化，尤其在大数据集上，可以显著减少计算量和存储需求。 PCA降维的过程可以分为以下几个关键步骤： 1. **数据预处理**：首先，需要对原始数据进行标准化，即让所有特征...
机器学习sklearn-PCA降维算法
weixin_44376037的博客
12-30 9097
1 概述 1.1 什么叫“维度” 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。 针对每一张表，维度指的是样本的数量或特征的数量，一般无特别说明，指的都是特征的数 量。 对图像来说，维度就是图像中特征向量的数量。特征向量可以理解为是坐标轴。 **降维算法中的”降维“，指的是降低特征矩阵中特征的数量。**降维的目的是为了让算法运算更 快，效果更好，但其实还有另一种需求：数据可视化。 1.2 sklearn中的降维算法 sklearn中降维算法都被包括在模块
PCA算法标准化
04-24
纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但运用matlab实现PCA线性标准化算法对图像纹理算法进行处理识别，由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。
机器学习-PCA实验－上海大学
05-09
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，尤其在机器学习领域中，它常被用于特征降维。上海大学的这门机器学习实验课程旨在让学生深入理解PCA算法，并通过实际操作来掌握这一...
数据预处理，PCA主成分分析
weixin_44084325的博客
05-10 1381
from sklearn.decomposition import PCA my_pca = PCA(n_components=7) #10个属性删了3个剩7个 #数据表中不允许出现离散数据（salary，department），而且分析的left属性也不需要进行pca处理，因为是我们关注的属性 lower_mat = my_pca.fit_transform(df.drop(labels...
数据预处理方式（去均值、归一化、PCA降维）
qq_42836938的博客
08-16 2020
一.去均值一.去均值1.各维度都减对应维度的均值，使得输入数据各个维度都中心化为0，进行去均值的原因是因为如果不去均值的话会不容易拟合。这是因为如果在神经网络中，特征值x比较大的时候，会导致W*x+b的结果也会很大，这样进行激活函数（如relu）输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行计算，所以会导致梯度消散问题，导致参数改变量很小，也就会不易于拟合，效果不好。右图为去均值之后的效果。...
数据预处理系列：（十一）用核PCA实现非线性降维
风雪夜归子
06-27 9744
用核PCA实现非线性降维 由于大多数统计方法最开始都是线性的，所以，想解决非线性问题，就需要做一些调整。PCA也是一种线性变换。本主题将首先介绍它的非线性形式，然后介绍如何降维。 Getting ready 如果数据都是线性的，生活得多容易啊，可惜现实并非如此。核主成分分析（Kernel PCA）可以处理非线性问题。
在PCA降维前对数据作标准化操作是重要且必要的
热门推荐
dongzichen2015的博客
05-11 1万+
当数据维数很高的时候，我们可以用PCA降维，但是降维前通常我们要对数据进行标准化，为什么要这样做？这有什么好处？ 原因有以下三点： 从PCA（主成分分析）背后所对应的数学理论SVD(矩阵的奇异值分解）来说，奇异值分解本身是完全不需要对矩阵中的元素做标准化或者去中心化的。但是对于机器学习，我们通常会对矩阵（也就是数据）的每一列先进行标准化。 有时候我们在特征工程阶段，使用某些特征提取算子（eg:HOG）提取的图像特征维度很高。PCA则用于高维数据的降维，它可以将原来高维的数据投影到某个低维的空间上并使得
数学基础-数据预处理-降维-PCA & SVD
weixin_37801695的博客
06-07 625
PCA原理 主成分分析(PCA)是将研究对象的多个相关变量化为少数几个不相关的变量的一种多元统计方法。为了尽可能完整的收集过程的运行信息或产品质量信息，要检测许多个过程变量或质量参数，当然这可以避免重要信息的遗漏，然而从统计的角度看，这些变量可能存在很强的相关性，使得分析问题增加了复杂性。因而，自然想到用少数几个不相关的综合变量来代替原来较多的相关变量方法的研究；而且要求这些不相关的综合变量能够...
机器学习之数据预处理方式（去均值、归一化、PCA降维）
永远飞翔的鸟
08-06 1万+
目录 一、在介绍去均值和归一化之前，先介绍几个概念 1.1 平均值 1.2 方差、标准差 1.3 贝赛尔修正 1.4 平均值与标准差的适用范围及误用 1.5 为什么正态分布非常常见 二、常用数据预处理方法 2.1 去均值 2.2 .两种归一化的适用范围 2.3 PCA/白化 一、在介绍去均值和归一化之前，先介绍几个概念 1.1 平均值 平均值的概念很简单：所有数据之和除以...
scikit-learn实战：数据预处理与模型构建
在构建模型之前，通常需要对数据进行预处理，如标准化、二值化、数据集分割和降维。sklearn的model_selection、preprocessing和decomposition模块提供了相应的工具。转换器（Transformer）是sklearn中用于处理数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小飞龙程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值