【机器学习】特征工程 - 文本特征提取CountVectorizer

「作者主页」：士别三日wyx
「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者
「推荐专栏」：对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》

对「文本」进行特征提取时，一般会用「单词」作为特征，即特征词。

CountVectorizer会计算特征词出现的「次数」，帮我们发现哪个词是最「重要」的。

一、特征提取API

sklearn.feature_extraction 是用来提取特征的API。

sklearn.feature_extraction.text.CountVectorizer( stop_words=[…] )

• fit_transform( data )：接收数据（文本或包含文本字符串的可迭代对象），返回提取的特征
• vector.inverse_transform( new_data )：将提取的特征，转换成之前的数据
• get_feature_names_out()：获取（特征）单词列表

参数：

• stop_words：停用词，数组类型，指定的停用词不再作为特征词。

二、提取特征

我们准备一组原始数据，然后「提取特征」

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)

输出：

  (0, 0)	1
  (0, 3)	1
  (0, 2)	1
  (1, 0)	1
  (1, 3)	1
  (1, 1)	1

返回的提取的特征默认是「sparse矩阵」，我们用type打印一下返回值的类型。

# 转换数据
new_data = vector.fit_transform(old_data)
print(type(new_data))

输出：

<class 'scipy.sparse._csr.csr_matrix'>

这种格式不利于我们观察分析，接下来，我们把sparse矩阵转换成数组格式。

三、转换成数组

sparse矩阵内置的 toarray() 方法 ，可以把结果转换成「二维数组」。

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())

输出：

[[1 0 1 1]
 [1 1 0 1]]

这样的格式友好一些，但这些特征是什么意思呢？我们可以通过特征名字来分析。

四、特征名字

get_feature_names_out() 方法可以获取「特征名字」。

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())
print(vector.get_feature_names_out())

输出：

[[1 0 1 1]
 [1 1 0 1]]
['am' 'father' 'mather' 'your']

从特征名字我们可以发现，原始数据中出现的每个「单词」，都被当做一个「特征词」。
需要注意的是，「标点符号」和「字母」默认不统计，不作为特征词，因为没什么意义。

提取的特征数组中：每一行（也就是每个数组）对应一个「样本」，每一列（也就是数组的每一个值）对应一个特征词。
用数字表示特征词出现的次数。

比如第一个数组（[1 0 1 1]）对应第一个样本（“I am your mather !”）；
数组中第一位时1，意思就是样本里 ‘am’ 这个词出现了1次；
数组中第二位是0，意思就是样本里 ‘father’ 这个词出现了0次；

为了方便观察，我们在第一个样本字符串里添加「重复」的单词：

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())
print(vector.get_feature_names_out())

输出：

[[1 0 2 1]
 [1 1 0 1]]
['am' 'father' 'mather' 'your']

可以看到特征数组里有了一个数字2，意思就是样本中，‘mather’ 这个词出现了2次。

五、停用词

CountVectorizer() 的 stop_words 参数可以指定「停用词」。

停用词的意思就是，不被算作特征词的单词，通常用于那些使用很少或没有统计意义的词。

这里我们指定两个停用词，观察一下提取的特征词有什么变化：

# 原始数据（字典）
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer(stop_words=['am', 'your'])

# 转换数据
new_data = vector.fit_transform(old_data)
print(vector.get_feature_names_out())

输出：

['father' 'mather']

这里可以看到，我指定的 am，your 这两个停用词，不再作为特征词。

六、返回原始数据

vector.inverse_transform() 方法可以将提取的特征转回原始数据：

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
# 提取的特征数组
print(new_data.toarray())
print('分割线 ---')
# 转回原始数据
print(vector.inverse_transform(new_data))

输出：

[[1 0 2 1]
 [1 1 0 1]]
分割线 ---
[array(['am', 'your', 'mather'], dtype='<U6'), array(['am', 'your', 'father'], dtype='<U6')]