数据准备<4>:变量筛选-理论篇

在上一篇文章《数据准备<3>：数据预处理》中，我们提到降维主要包括两种方式：基于特征选择的降维和基于维度转换的降维，其中基于特征选择的降维通俗的讲就是特征筛选或者变量筛选，是指从多个特征（变量）中筛选出显著的特征（变量），在分类预测问题中，就是筛选出对目标变量有预测能力的特征（变量）。本篇主要介绍特征（变量）筛选的基本思路与方法，为简洁，下文均使用“变量筛选”指代。

变量筛选主要有三种方法：基于经验的方法（比如专家法）、基于统计的方法（比如信息增益、区分度）和基于机器学习的方法（比如决策树算法）。下面将分别具体介绍：

1.基于经验的方法

根据业务专家或者数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。业务专家依靠的是业务背景，从众多维度变量中选择对结果影响较大的变量；而数据专家依靠的则是数据工作经验，基于数据的基本特征以及对后期数据处理和建模的影响来选择或者排除，比如删除缺失值较多的变量。

2.基于统计的方法

构建统计指标，对变量的预测能力进行度量，选择其中预测能力较大的变量。
首先，从香农的信息熵说起。
香农（Claude Elwood Shannon，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人，他在1948年发表的《通信的数学理论》论文中提出了信息熵的概念，认为信息是用来减少随机不确定的东西，使用信息熵对信息进行定量度量。
定义任意一个随机事件\(X\)，其发生的可能情况有\(x_1,x_2……,x_n\)，对应的概率分别为\(p_1,p_2,……,p_n\)，它的信息熵\(H(X)\)定义为：
\[ H(X)=-\sum_{i=1}^n{p_i*log(p_i)} \]信息熵反映了消除这个随机事件不确定性所需要的信息量的大小，换言之，信息熵度量了一个随机事件不确定程度的大小。
信息熵越大，代表一个随机事件不确定程度越高，消除这个随机事件不确定性所需要的信息就越多。
例1：现在要基于历史样本集预测一个新用户是否会换机，提供了三个样本集：

对于一个用户来说，是否会换机是一个随机事件，其取值有两种情况：换、不换。
在三个样本集下，该随机事件的概率分布分别为：