Python文本特征提取 DictVectorizer CountVectorizer TfidfVectorizer 附代码详解

文本特征提取：将文本数据转化成特征向量的过程。
python-sklearn库的模块 sklearn.feature_extraction 可用于提取符合机器学习算法支持的特征，比如文本和图片。

【注】特征特征提取与特征选择有很大的不同：前者包括将任意数据（如文本或图像）转换为可用于机器学习的数值特征。后者是将这些特征应用到机器学习中。

DictVectorizer 对使用字典储存的数据进行特征提取与向量化

  因为字典本身的key-value存储特点，这种情况实际上属于分类变量特征提取，scikit-learn的DictVectorizer类可以用来将Python字典（dict）对象列表的要素数组转换为 scikit-learn 估计器使用的 NumPy/SciPy 表示形式。

  在下面的例子，”城市” 是一个类别属性，而 “温度” 是传统的数字特征。其中类别型特征无法直接数字化表示，通常用独热编码（One-of-K or One-Hot Encoding）：借助原特征的名称，组合产生新的特征，并采用0/1二值方式进行量化；相比用单独的数值来表示分类，这种方法看起来很直观。而数值型特征，一般情况下只需要维持原始特征值即可。

# 从sklearn.feature_extraction 导入 DictVectorizer
from sklearn.feature_extraction import DictVectorizer
# 定义一组字典列表，用来表示多个数据样本（每个字典代表一个数据样本）。
measurements = [{
   'city': 'Dubai', 'temperature': 33.}, {
   'city': 'London', 'temperature': 12.}, {
   'city': 'San Fransisco', 'temperature': 18.}]
# 初始化DictVectorizer特征抽取器
vec = DictVectorizer()
# 输出转化之后的特征矩阵。
print (vec.fit_transform(measurements).toarray())
# 输出各个维度的特征含义。
print (vec.get_feature_names())

输出结果为

[[ 1. 0. 0. 33.]
[ 0. 1. 0. 12.]
[ 0. 0. 1. 18.]]
[‘city=Dubai’, ‘city=London’, ‘city=San Fransisco’, ‘temperature’]

这里的类别型变量city有三个值：Dubai, London,San Francisco；独热编码方式就是用三位二进制数，每一位表示一个城市。 【注】：编码的顺序不是由字典中城市排列的顺序决定，城市并没有自然数顺序，编码数值的大小并没有实际意义。例如，改变字典中的key-value顺序后，第一个city“London”的编码是[ 0. 1. 0.]，用第二个元素为1表示，对应输出结果为

# 定义一组字典列表，用来表示多个数据样本（每个字典代表一个数据样本）。
measurements = [{
   'city': 'London', 'temperature': 12.}, {
   'city': 'Dubai', 'temperature': 33.}, {
   'city': 'San Fransisco', 'temperature': 18.}]

[[ 0. 1. 0. 12.]
[ 1. 0. 0. 33.]
[ 0. 0. 1. 18.]]
[‘city=Dubai’, ‘city=London’, ‘city=San Fransisco’, ‘temperature’]

CountVectorizer / TfidfVectorizer 处理无特殊数据结构存储的数据

  对于没有使用特殊数据结构进行存储的文本数据，如一系列的字符串、一篇文档，常用的文本特征表示方法为词袋模型。

• 词袋模型（Bag of