特征选择——互信息量

  最近做了一个数据比赛，由于对数据背后的业务不太了解，所以特征工程大多采取了“暴力”提取的方式，最终特征过多直接导致模型存在过拟合问题。所以赛后总结在做特征工程的过程中就要考虑特征的取舍问题，主要通过特征与因变量Y之间的相关性分析做出判断。
  衡量单变量的相关性指标有很多，比如Pearson相关系数、Pearson卡方检验、Fisher得分、互信息等。

信息量

  对于随机离散变量X，假设其概率分布为 { P ( X = 1 ) = p 1 , P ( X = 2 ) = p 2 , . . . P ( X = n ) = p n } \{P(X=1)=p_1, P(X=2)=p_2,...P(X=n)=p_n\} {P(X=1)=p1​,P(X=2)=p2​,...P(X=n)=pn​}，则定义“A=i”这一事件包含的信息量$I(X=i)$为：

$$I(X=i)=-lo{g}_{m}P(X=i)=lo{g}_m\frac{1}{p_i}$$

当对数的底m取2时，信息量单位为比特(bit)；m取自然常数e时，单位为奈特(nat)。本文后续内容均以比特作为计算单位，并在书写$log$时默认以2为底。

  采用对数函数定义的信息量符合以下3点逻辑：
（1）必然事件包含的信息量为0
  假如把离散变量A看成是太阳升起的方向，那么X只能是东边，即$P(X=“东边”)=1$，得到“太阳从东边升起”这一事件的信息量为：$$I(“太阳从东边升起”)=I(X=“东边”)=-logP(X=“东边”)=0$$
（2）可能性越小的事件，其包含的信息越多
  在信息量的定义式中，信息量的大小与事件发生的概率成反比，符合这一逻辑：
$$0<p_1<p_2<1\iff I(X=1)>I(X=2)>0$$
（3）两个相互独立事件同时发生时获得的信息量应该等于事件各自发生时获得的信息之和
  假设相互独立的事件X和Y，发生的概率分别为$p_X和p_Y$，则有：
$$I(X)+I(Y)=-log(p_X)-log(p_Y)=-log(p_X\cdot p_Y)=-log(p_{XY})=I(X,Y)$$

信息熵

  如果信息量表示的是随机离散变量X取某一特定值时的信息，那么信息熵就可以理解为是随机离散变量X取所有可能值时的期望信息量，所以关于变量X的信息熵$H(X)$定义为：
$$H(X)=E(I(X))=\sum _{i=1}^n{p}_i\cdot I(X=i)=-\sum _{i=1}^n{p}_i\cdot log(p_i)$$
  信息熵另一个比较形象的解释是，表示随机变量X不确定性的度量，我们计算下在什么情况下X的不确定性最大。
$$\begin{gathered} maxH(X) \\ s.t.\sum _{i=1}^n{p}_i=1 \end{gathered}$$
  引入拉格朗日乘子$\lambda$并改写目标函数$F$：
$$F=\lambda (\sum _{i=1}^n{p}_i-1)-\sum _{i=1}^n{p}_i\cdot log(p_i)$$
  对所有未知数求偏导可得：
$$\begin{gathered} \frac{\partial F}{\partial p_i}=\lambda -1-log(p_i)=0,i=1,2,...,n \\ \frac{\partial F}{\partial \lambda }=\sum _{i=1}^n{p}_i-1=0 \end{gathered}$$
  求解以上方程组得：
$$\{\begin{array}{l}{p}_i=\frac{1}{n},i=1,2,...n\\ \lambda =1-log(n)\end{array}$$
  说明X的所有取值都是等概率出现时，随机离散变量X的不确定性(信息熵)达到最大。

  信息量和信息熵最大的区别在于对象不同；前者针对的是一件具体的事件，或者说是离散变量X一种可能的取值(分类水平)；而信息熵针对的是离散变量X自身的不确定性，包含了所有的取值。

条件熵

假设两个随机离散变量$X$和$Y$的概率分布分别为：
$$P(X=x_i)=p_i，P(Y=y_j)=p_j，i=1,2,..,n，j=1,2,...,m$$
  条件熵$H(Y|X)$表示在已知随机变量$X$的条件下变量$Y$的不确定性，定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望：
$$H(Y|X)=\sum _{i=1}^n{p}_i\cdot H(Y|X=x_i)$$

互信息量

  在给出互信息定义前先看下这张关系图：

  有两种说法：
（1）直观上看，互信息度量两个随机变量$X$、$Y$之间共享的信息，互信息越大则表明$X$和$Y$的相关性越高；
（2）也可以表示为由于$X$的引入而使$Y$的不确定度减少的量，减少的量越大说明$X$更有利于对$Y$的确定.
  利用图中$X$、$Y$之间的互信息和信息熵、条件信息熵之间的数值关系给出互信息$I(X;Y)$的计算公式：
$$\begin{gathered} I(X;Y)=H(Y)-H(Y|X) \\ =-\sum _{j=1}^m{p}_j\cdot log(p_j)-\sum _{i=1}^n{p}_i\cdot H(Y|X=x_i) \\ =-\sum _{j=1}^m{p}_j\cdot log(p_j)+\sum _{i=1}^n\sum _{j=1}^m{p}_i\cdot P(Y=y_j|X=x_i)\cdot log(P(Y=y_j|X=x_i)) \\ =-\sum _{j=1}^m{p}_j\cdot log(p_j)+\sum _{i=1}^n\sum _{j=1}^m{p}_{ij}\cdot log\left(\frac{p_{ij}}{p_i}\right) \end{gathered}$$
其中$p_{ij}=P(X=x_i,Y=y_j)$，表示$X$和$Y$联合分布的概率。利用边缘概率和联合概率的关系${\sum }_{i=1}^n{p}_{ij}=p_j$简化上述式子得：
$$I(X;Y)=\sum _{i=1}^n\sum _{j=1}^m{p}_{ij}\cdot log\left(\frac{p_{ij}}{p_i\cdot p_j}\right)$$

用于特征选择(Python)

  做特征选择时需要根据特征变量$X$和因变量$Y$的类型来选取合适的相关性指标，这里互信息适用于特征和因变量都是分类变量的情况。公式中的概率均用各分类水平出现的频率来替代：
$$p_i=\frac{n(X=x_i)}{N}，p_j=\frac{n(Y=y_j)}{N}，p_{ij}=\frac{n(X=x_i,Y=y_j)}{N}$$

import pandas as pd
import numpy as np

def mutual_infor(X, y):
	'''
	Mutual Information
	X and y are both categorical variables.

	Input : {
	X : one-dimensional array、list or series from Pandas
	y : one-dimensional array、list or series from Pandas
	}
	
	'''
	X = np.array(X).reshape(-1)
	y = np.array(y).reshape(-1)

	if len(X) != len(y):
		print('Length of X and y are inconsistent !')

	X_level = list(set(X))
	y_level = list(set(y))
	N = X.shape[0]
	I = 0

	for i in X_level:
		for j in y_level:
			p_xy = np.sum(X == i) & (y == j) / N
			p_x = np.sum(X == i) /N
			p_y = np.sum(y == j) /N
			I += p_xy * np.log(p_xy / (p_y * p_x))

	return I