特征工程 PCA-- 027

最新推荐文章于 2024-05-24 09:14:13 发布

小麦粒

最新推荐文章于 2024-05-24 09:14:13 发布

阅读量894

点赞数 1

本文链接：https://blog.csdn.net/u010986753/article/details/104682288

版权

本文介绍了特征工程的重要性和PCA在高维数据降维中的应用。PCA通过线性变换保留方差最大的特征，常用于数据预处理。文中详细阐述了PCA的算法步骤，包括数据中心化、协方差矩阵计算、特征值分解等，并提供了PCA代码实现。最后讨论了如何选择降维后的维度以及PCA在sklearn库中的使用。

摘要由CSDN通过智能技术生成

内容目录

一、特征工程和 PCA 介绍二、PCA算法三、PCA 代码

一、特征工程和 PCA 介绍

特征工程要做的事，就是获取更好的训练数据。特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。简而言之，特征工程就是一个把原始数据转变成特征的过程，这些特征可以很好的描述这些数据，并且利用它们建立的模型在未知数据上的表现性能可以达到最优（或者接近最佳性能）。从数学的角度来看，特征工程就是人工地去设计输入变量X。
特征选择完成后，可以直接训练模型，但可能由于特征矩阵过大，导致计算量和计算时间大，因此需要降低维度，这是就需要PCA了。

主成分分析（PCA）就是最常用的数据降维方法，在减少数据维度的同时，保持对方差贡献最大的特征。当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。PCA是一种无监督的降维方法，而LDA是一种有监督的降维方法。

所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中，即PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。在降低维度的过程中，我们想要保留更多的特征，PCA就是经过数学