5.1 关键词提取技术概述
相对于有监督的方法而言，无监督的方法对数据的要求就低多了。既不需要一张人工生成、维护的词表，也不需要人工标准语料辅助进行训练。因此，这类算法在关键词提取领域的应用更受到大家的青睐。目前常用的算法有TF-IDF算法、TextRank算法和主题模型算法（包括LSA、LSI、LDA等）
5.2 关键词提取算法TF/IDF算法
TF-IDF(Term Frequency-Inverse Document Frequency)，词频-逆文档频次算法，常用于评估在一个文档集中一个词对某份文档的重要程度。一个词对文档越重要，那就越可能是文档的关键词。
TF统计一个词在一篇文档中出现的频次，基本思想是一个词在文档中出现次数越多，则其对文档的表达能力也就越强。
IDF统计一个词在文档集的多少个文档中出现，基本思想是如果一个词在越少的文档中出现，则其对文档的区分能力也就越强。
tf(word) = (word在文档中出现的次数)/(文档总词数)
idf = log(|D| / (1+|Di|)) 。|D|为文档集中总文档数，|Di|为文档集中出现词i的文档数量。
5.3 TextRank算法
TextRand算法的一个重要特点是可以脱离语料库的背景，仅对单篇文档进行分析就可以提取该文档的关键词。最早用于文档的自动摘要，基于句子维度的分析，对于每个句子进行打分，挑选出分数最高的n个句子作为文档的关键句，以达到自动摘要的效果。
5.4 LSA/LSI/LDA算法
在某些场景，基于文档本身的关键词提取还不是非常足够，有些关键词并不一定会显示地出现在文档当中，如一篇讲动物生存环境的科普文，通篇介绍狮子老虎等，但是文中并没有显示地出现动物二字。
主题模型认为在词与文档之间没有直接的联系，它们应当还有一个维度将它们串联起来，主题模型将这个维度称为主题。每个文档都应该对应着一个或多个的主题，而每个主题都会有对应的词分布，通过主题，就可以得到每个文档的词分布。核心公式：p(wi | dj) = sumK( p(wi | tk) x p(tk | dj)
在一个已知的数据集中，每个词和文档对应的p(wi | dj)都是已知的。而主题模型就是根据这个已知的信息，通过计算p(wi | tk) 和p(tk | dj)的值，从而得到主题的词分布和文档的主题分布信息。而要想得到这个分布信息，现在常用的方法就是LSA(LSI)和LDA。其中LSA主要是采用SVD的方法进行暴力破解，而LDA则是通过贝叶斯学派的方法对分布信息进行拟合。
LSA/LSI算法
LDA算法
5.5 实战提取文本关键词
使用Jieba和Gensim，Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF、LSA、LDA和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。
# -*- coding: utf-8 -*-
import math
import jieba
import jieba.posseg as psg
from gensim import corpora, models
from jieba import analyse
import functools
def get_stopword_list():
stop_word_path = './stopword.txt'
stopword_list = [sw.replace('\n','') for sw in open(stop_word_path).readlines()]
return stopword_list
# 分词方法
def seg_to_list(sentence, pos=False):
if not pos:
# 不进行词性标注的分词方法
seg_list = jieba.cut(sentence)
else:
# 进行词性标注的分词方法
seg_list = psg.cut(sentence)
return seg_list
# 去除干扰词，根据pos判断是否过滤除名词外的其他词性，再判断词是否在停用词表中，长度是否大于等于2等。
def word_filter(seg_list, pos=False):
stopword_list = get_stopword_list()
filter_list = []
# 根据pos参数选择是否词性过滤
# 不进行词性过滤，则将词性都标记为n,表示全部保留
for seg in seg_list:
if not pos:
word = seg
flag = 'n'
else:
word = seg.word
flag = seg.flag
if not flag.startswith('n'):
continue
# 过滤高停用词表中的词，以及长度为<2的词
if not word in stopword_list and len(word)>1:
filter_list.append(word)
return filter_list
# 数据加载
def load_data(pos=False,corpus_path='./corpus.txt'):
doc_list = []
for line in open(corpus_path, 'r'):
content = line.strip()
seg_list = seg_to_list(content, pos)
filter_list = word_filter(seg_list, pos)
doc_list.append(filter_list)
return doc_list
# idf值统计方法
def train_idf(doc_list):
idf_dic = {}
# 总文档数
tt_count = len(doc_list)
# 每个词出现的文档数
for doc in doc_list:
for word in set(doc):
idf_dic[word] = idf_dic.get(word, 0.0) + 1.0
# 按公式转换为idf值，分母加1进行平滑处理
for k, v in idf_dic.items():
idf_dic[k] = math.log(tt_count/(1.0+v))
# 对于没有在字典中的词，默认其尽在一个文档出现，得到默认idf值
default_idf = math.log(tt_count/(1.0))
return idf_dic, default_idf
# topK
def cmp(e1, e2):
import numpy as np
res = np.sign(e1[1] - e2[1])
if res != 0:
return res
else:
a = e1[0] + e2[0]
b = e2[0] + e1[0]
if a > b:
return 1
elif a == b:
return 0
else:
return -1
# TF-IDF类
class TfIdf(object):
# 训练好的idf字典，默认idf值，处理后的待提取文本，关键词数量
def __init__(self, idf_dic, default_idf, word_list, keyword_num):
self.word_list = word_list
self.idf_dic, self.default_idf = idf_dic, default_idf
self.tf_dic = self.get_tf_dic()
self.keyword_num = keyword_num
#统计tf值
def get_tf_dic(self):
tf_dic = {}
for word in self.word_list:
tf_dic[word] = tf_dic.get(word, 0.0) + 1.0
tt_count = len(self.word_list)
for k,v in tf_dic.items():
tf_dic[k] = float(v)/tt_count
return tf_dic
# 按公式计算tf-idf
def get_tfidf(self):
tfidf_dic = {}
for word in self.word_list:
idf = self.idf_dic.get(word, self.default_idf)
tf = self.tf_dic.get(word, 0)
tfidf = tf*idf
tfidf_dic[word] = tfidf
# 根据tf-idf排序，取排名前keyword_num的词作为关键词
for k,v in sorted(tfidf_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:
print(k + "/", end='')
print()
# 主题模型
class TopicModel(object):
#
def __init__(self, doc_list, keyword_num, model="LSI", num_topics=4):
# 使用gensim接口，将文本转为向量化表示
self.dictionary = corpora.Dictionary(doc_list)
# 使用BOW模型向量化
corpus = [self.dictionary.doc2bow(doc) for doc in doc_list]
# 对每个词，根据tf-idf进行加权，得到加权后的向量表示
self.tfidf_model = models.TfidfModel(corpus)
self.corpus_tfidf = self.tfidf_model[corpus]
self.keyword_num = keyword_num
self.num_topics = num_topics
# 选择加载的模型
if model == 'LSI':
self.model = self.train_lsi()
else:
self.model = self.train_lda()
# 得到数据集的主题-词分布
word_dic = self.word_dictionary(doc_list)
self.wordtopic_dic = self.get_wordtopic(word_dic)
def train_lsi(self):
lsi = models.LsiModel(self.corpus_tfidf, id2word=self.dictionary, num_topics=self.num_topics)
return lsi
def train_lda(self):
lda = models.LdaModel(self.corpus_tfidf, id2word=self.dictionary, num_topics=self.num_topics)
return lda
def get_wordtopic(self, word_dic):
wordtopic_dic = {}
for word in word_dic:
single_list = [word]
wordcorpus = self.tfidf_model[self.dictionary.doc2bow(single_list)]
wordtopic = self.model[wordcorpus]
wordtopic_dic[word] = wordtopic
return wordtopic_dic
# 词空间构建方法和向量化方法，在没有gensim接口时的一般处理方法
def word_dictionary(self, doc_list):
dictionary = []
for doc in doc_list:
dictionary.extend(doc)
dictionary = list(set(dictionary))
return dictionary
def doc2bowvec(self, word_list):
vec_list = [1 if word in word_list else 0 for word in self.dictionary]
return vec_list
# 计算词的分布和文档的分布的相似度，取相似度最高的keyword_num个词作为关键词
def get_simword(self, word_list):
sentcorpus = self.tfidf_model[self.dictionary.doc2bow(word_list)]
senttopic = self.model[sentcorpus]
# 余弦相似度计算
def calsim(l1, l2):
a, b, c = 0.0, 0.0, 0.0
for t1, t2 in zip(l1, l2):
x1 = t1[1]
x2 = t2[1]
a += x1 * x1
b += x1 * x1
c += x2 * x2
sim = a / math.sqrt(b * c) if not (b * c) == 0.0 else 0.0
return sim
# 计算输入文本和每个词的主题分布相似度
sim_dic = {}
for k,v in self.wordtopic_dic.items():
if k not in word_list:
continue
sim = calsim(v, senttopic)
sim_dic[k] = sim
for k,v in sorted(sim_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:
print(k + "/ ", end='')
print()
def tfidf_extract(word_list, pos=False, keyword_num=10):
doc_list = load_data(pos)
idf_dic, default_idf = train_idf(doc_list)
tfidf_model = TfIdf(idf_dic, default_idf, word_list, keyword_num)
tfidf_model.get_tfidf()
def textrank_extract(text, pos=False, keyword_num=10):
textrank = analyse.textrank
keywords = textrank(text, keyword_num)
# 输出抽取出的关键词
for keyword in keywords:
print(keyword + "/")
#print()
def topic_extract(word_list, model, pos=False, keyword_num=10):
doc_list = load_data(pos)
topic_model = TopicModel(doc_list, keyword_num, model=model)
topic_model.get_simword(word_list)
if __name__ == '__main__':
text = '6月19日,《2012年度“中国爱心城市”公益活动新闻发布会》在京举行。' + \
'中华社会救助基金会理事长许嘉璐到会讲话。基金会高级顾问朱发忠,全国老龄' + \
'办副主任朱勇,民政部社会救助司助理巡视员周萍,中华社会救助基金会副理事长耿志远,' + \
'重庆市民政局巡视员谭明政。晋江市人大常委会主任陈健倩,以及10余个省、市、自治区民政局' + \
'领导及四十多家媒体参加了发布会。中华社会救助基金会秘书长时正新介绍本年度“中国爱心城' + \
'市”公益活动将以“爱心城市宣传、孤老关爱救助项目及第二届中国爱心城市大会”为主要内容,重庆市' + \
'、呼和浩特市、长沙市、太原市、蚌埠市、南昌市、汕头市、沧州市、晋江市及遵化市将会积极参加' + \
'这一公益活动。中国雅虎副总编张银生和凤凰网城市频道总监赵耀分别以各自媒体优势介绍了活动' + \
'的宣传方案。会上,中华社会救助基金会与“第二届中国爱心城市大会”承办方晋江市签约,许嘉璐理' + \
'事长接受晋江市参与“百万孤老关爱行动”向国家重点扶贫地区捐赠的价值400万元的款物。晋江市人大' + \
'常委会主任陈健倩介绍了大会的筹备情况。'
pos = True
seg_list = seg_to_list(text, pos)
filter_list = word_filter(seg_list, pos)
print('TF-IDF模型结果：')
tfidf_extract(filter_list)
print('TextRank模型结果：')
textrank_extract(text)
print('LSI模型结果：')
topic_extract(filter_list, 'LSI', pos)
print('LDA模型结果：')
topic_extract(filter_list, 'LDA', pos)TF-IDF模型结果：
晋江市/城市/大会/爱心/中华/基金会/陈健倩/重庆市/许嘉璐/巡视员/
TextRank模型结果：
城市/
爱心/
救助/
中国/
社会/
晋江市/
基金会/
大会/
介绍/
公益活动/
LSI模型结果：
中国/ 中华/ 爱心/ 项目/ 基金会/ 社会/ 城市/ 公益活动/ 全国/ 国家/
LDA模型结果：
年度/ 晋江市/ 副理事长/ 公益活动/ 理事长/ 频道/ 优势/ 大会/ 陈健倩/ 巡视员/ 
扫一扫
1650
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
