变量筛选—特征包含信息量

在变量筛选中，通过衡量特征所包含信息量大小，决定是否删除特征，常用的指标有单一值占比、缺失值占比和方差值大小。单一值或缺失值占比越高，表示特征包含信息量越少，不同公司设置不同阈值，一般单一值、缺失值占比高于95%，建议删除。方差值越小，代表特征包含信息量越小。接下来详细阐述方差值的原理和Python计算代码。

  

一、什么是方差？

  
方差：衡量一组数据离散程度的统计量，它表示每个数据与这组数据平均数的差的平方的平均数。
  
方差越大，说明这组数据的离散程度越大。

  
  

二、方差的计算公式

  
假设有一组数据x1,x2,……,xn，这组数据的方差计算步骤如下：
  
step1：计算平均数(均值)，首先，计算这组数据的平均数(均值)，公式为

其中，n是数据量，Σ是求和符号。
  
step2：计算方差