泛统计理论初探——主成分分析方法简介

统计学习-主成分分析方法介绍

探究主成分分析
今天我们来聊聊这个主成分分析方法，主成分分析方法是一种将统计问题中的自变量进行组合，组合成新的变量后，按照使用者需求，提取出最主要的变量的一种方法。主成分分析方法是一种比较常见的统计学方法，常用于降维、特征工程等场景，在一些竞赛中使用主成分分析方法对海量的特征进行提取，合成新的维度，这样可以提高模型的可解释性，也可以提升模型的稳健性。
当然，主成分分析的使用是要分情况的，因为在某些场景下是不建议使用该方法的，比如自变量数量较少时，可能某些场景需要研究的变量就4、5个，如果此时继续使用主成分分析方法，可能会有问题。还有一些情况，变量之间是基本独立的，此时如果使用主成分分析方法会使得变量混合到一起，造成最后的模型可解释性不强。但是在某些情况，如果使用主成分分析方法进行处理是对问题的解决有好处，比如在图像压缩等高维度场景的情况下，使用该方法可以对数据进行降维，在压缩的情况下最大程度保留原始数据的信息。
其实主成分分析的核心思想，就是方差最大理论。这个要从信息论的信息熵说起，信息熵是一种代表信息所蕴含内容多少的一种衡量，即信息熵越大，所蕴含的信息越多，信息熵越大其实代表的就是越混乱，从统计指标上看就是一组数据的方差越大，波动性越大，它蕴含的信息就越多。主成分分析方法认为，通过主成分分析的线性变换，将原有的特征进行组合，得到一组新的互相之间独立的特征，而且新特征之间是通过信息贡献率进行排序的，含有原始变量的信息越高，排序越靠前，并且使用者可以根据这个顺序进行选择，从m个新的变量选择前k个变量后，从而达到变