pandas关键字提取_(3) 使用sklearn包提取文章的关键词

本篇同样是使用TF-IDF算法提取关键词，只不过是使用sklearn中封装好的包进行提取。不同的是对原始语料库格式的要求，sklearn要求语料库中文章的分词之间以空格分隔，如以下示例：

segment

第一篇文章 我 是 中国 人 。

第二篇文章 你 是 美国 人 。

第三篇文章 他 叫 什么 名字？

第四篇文章 她 是 谁 啊？

开发环境

系统: macOS Sierra； 开发软件: PyChram CE； 运行环境: Python3.6

导入需要用到的包

import os

import codecs

import pandas

import jieba

import re

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.feature_extraction.text import TfidfTransformer

import numpy

创建语料库

# 创建语料库

filePaths = []

fileContents = []

for root, dirs, files in os.walk(

'data/SogouC.mini/Sample'

):

for name in files:

filePath = os.path.join(root, name)

f = codecs.open(filePath, 'r', 'utf-8')

fileContent = f.read()

f.close()

filePaths.append(filePath)

fileContents.append(fileContent)

corpus = pandas.DataFrame({

'filePath': filePaths,

'fileContent': fileContents

})

语料库中的文章是从搜狗实验室下载的，内容如下：

目录结构.png

创建的语料库如下：

语料库.png

文章分词

# 匹配中文分词

zhPattern = re.compile(u'[\u4e00-\u9fa5]+')

# 分词，转化为sklearn能识别的数据格式(分词之间以空格分开)

for index, row in corpus.iterrows():

segments = []

fileContent = row['fileContent']

segs = jieba.cut(fileContent)

for seg in segs:

if zhPattern.search(seg):

segments.append(seg)

row['fileContent'] = ' '.join(segments) # 将文章分词以空格分开，以便符合sklearn数据格式要求

分词后结果如下：

分词.png

读取停用词文件

# 读取停用词文件

stopWords = pandas.read_csv(

'data/StopwordsCN.txt',

encoding='utf-8',

index_col=False,

quoting=3,

sep='\t'

)

停用词文件内容如下：

停用词.png

使用Count创建词频矩阵(即得到TF矩阵)

# 提取TF

countVectorizer = CountVectorizer( # 该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频

stop_words=list(stopWords['stopword'].values), # stopWords['stopword'].values为ndarray类型.stop_words接受list类型

min_df=0,

token_pattern=r"\b\w+\b"

)

textVector = countVectorizer.fit_transform(corpus['fileContent']) # 将文章转化为词频矩阵，得到TF矩阵

print(textVector.todense()) # 使用todense 方法获得该矩阵

运行结果如下：

TF.png

使用计算TF-IDF(即得到TF-IDF矩阵)

# 计算TF-IDF

transformer = TfidfTransformer()

tfidf = transformer.fit_transform(textVector) # 为词频矩阵的每个词加上权重(即TF * IDF)，得到TF-IDF矩阵

print(tfidf.todense())

运行结果如下：

TF-IDF.png

提取每篇文章的前五个关键词

# 提取关键词

sort = numpy.argsort(tfidf.toarray(), axis=1)[:, -5:] # 将二维数组中每一行按升序排序，并提取每一行的最后五个(即数值最大的的五个)

names = countVectorizer.get_feature_names() # 获取词袋模型中的所有词语

keyWords = pandas.Index(names)[sort].values

tagDF = pandas.DataFrame({

'filePath': corpus.filePath,

'fileContent': corpus.fileContent,

'tag1': keyWords[:, 0],

'tag2': keyWords[:, 1],

'tag3': keyWords[:, 2],

'tag4': keyWords[:, 3],

'tag5': keyWords[:, 4]

})

运行结果如下：

result.png

参考：

小蚊子数据分析