NLP入门—Task3 特征选择

参考资料：
文本挖掘预处理之TF-IDF
使用不同的方法计算TF-IDF值：使用不同的方法计算TF-IDF值
sklearn：点互信息和互信息
如何进行特征选择（理论篇）：机器学习你会遇到的“坑”
1、TF-IDF原理

  TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。
  TF使用向量化做文本中各词出现的频率统计。IDF的值代表一个词在文本中出现频率所对应的重要性。例如，“a”、"to"出现频率高，重要性是较低的。当一个词在所有文本中出现时，它的IDF值应为0。
  N代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数，基本公式如下：
 
  当分母为零时，也就是存在语料库中没有的生僻字时，需要进行平滑，公式如下：
 
  那么由此可以得到某个词的TF-IDF值为：
 
2、使用词袋模型，以TF-IDF特征值为权重的文本矩阵化（可以使用Python中TfidfTransformer库）

使用scikit-learn进行TF-IDF处理，见github

3、互信息

 互信息MI（Mutual Information）指的是两个变量之间是否存在关系，及关系的强弱。(X, Y) ~ p(x, y), X, Y 之间的互信息 I (X; Y)定义为：
 
 互信息其实对应着信息增熵的概念，可由联合概率分布函数推导而来。

4、利用互信息进行特征筛选

 在进行特征选择时，我们需要去判断每个特征与我们的目标是否相关，特征与特征之间是否相关。常见方法有过滤法（Filter）、包裹法（Warpper）、嵌入法（Embedding）。