前言
大样本的数据集固然提供了丰富的信息,但也在一定程度上增加了问题的复杂性。如果我们分别对每个指标进行分析,往往得到的结论是孤立的,并不能完全利用数据蕴含的信息。但是盲目的去减少我们分析的指标,又会损失很多有用的信息。所以我们需要找到一种合适的方法,一方面可以减少分析指标,另一方面尽量减少原指标信息的损失。
变量压缩的方法非常多,但百法不离其中,其实最根本的都是「主成分分析」(Primary Component Analysis,下简称PCA)。能够理解 PCA 的基本原理并将代码用于实际的业务案例是本文的目标,本文将详细介绍如何利用Python实现基于主成分分析的5c信用评级,主要分为两个部分:
- 详细原理介绍
- Python代码实战
引入
在正式开始原理趣析前,我们先从两个生活场景入手,借以更好的理解需要进行变量压缩的原因。
场景1:
上司希望从事数据分析岗位的你仅用两个短句就概括出以下数据集所反映出的经济现象
用几个长句都不一定能够很好的描述数据集的价值,更何况高度凝练的两个短句,短短九个指标就已经十分让人头疼了,如果表格再宽一些呢,比如有二三十个变量?
场景2
大学生讲究德智体美劳全面发展,学校打算从某学院挑选一两名学生外派进修数据分析,需要综合全面的考量学生素质。部分候选学生的个人情况如下:
首先还是与场景1类似的问题,这些指标只是冰山一角,还没算上学生们其他领域的成绩,如果说在场景1中还可以以牺牲全面性来删除一些我们觉得关系不大的变量,比如我们猜测老板只会关注GDP与人均GDP这两个指标,那么场景2的背景便已经清晰地说明了需要综合地考虑变量,不能有生硬的去掉“体育”之类的操作。
信息压缩
如果把信息压缩这四个字拆成信息和压缩这两部分来看的话,便会呈现如下值得探究的问题:
「信息压缩中的信息指什么?」
其实各种数据、变量都可被称为信息,而统计学家们常把方差当作信息。其实在做描述性统计分析的时候,只要能够表现我们数据的变异情况的统计量都可以被称作信息,如方差,极差等,只不过是极差会更好计算。以方差为例,方差变化越大,数据分布越分散,涵盖的信息就越多。
「什么样的信息/变量才能被压缩?」
- 只有相关性强的变量才能被压缩。如场景2的数学建模和科