自然语言处理（三）文章高频词提取

一、高频词汇提取简介

高频词一般是指文档中出现频率较高且并非无用的词语，其一定程度上代表了文档的焦点所在。针对单篇文档，可以作为一种关键词来看。对于如新闻这样的多篇文档，可以将其作为热词，发现舆论的焦点。其中高频词提取其实就是自然语言处理中的TF（Term Frequency）策略。

二、数据集下载及算法介绍

数据集下载地址：https://github.com/nlpinaction/learning-nlp

算法介绍

1、读取数据集中一篇或者多篇新闻作为分词提取高频词汇的样本数据集

2、对于文章首先用jieba库中自带的分词函数对文章进行分词处理

3、由于文章中的标点符号以及“的”， “是”， “了” 等常用词无任何意义，因此这些词是需要在进行统计高频词时进行删除处理的，对于上述问题需要利用一个停用字典（无意义词的一个文档集合）来过滤掉那些无意义的词以及标点符号。

停用字典路径：https://github.com/nlpinaction/learning-nlp/blob/master/chapter-3/data/stop_words.utf8

4、分好词之后需要做的是对词进行一个数量的统计，利用字典来模拟哈希表，构建一个字典存取每一个关键字的出现次数，然后通过排序取出你开始设置的最高的几个关键词。

代码实现

import jieba
import glob
import random

class TopKFrequent(object):
    def __init__(self, k = 0):
        self.k = k

    def stop_words(self, path):
        with open(path, 'r', encoding='utf8') as f:
            return [l.strip() for l in f]

    def get_content(self, path):
        with open(path, 'r', encoding='gbk', errors='ignore') as f:
            content = ''
            for sample in f:
                sample = sample.strip()
                content += sample
            return content

    def get_TF(self, words):
        tf_dic = {}
        for word in words:
            tf_dic[word] = tf_dic.get(word, 0) + 1
        return sorted(tf_dic.items(), key=lambda x:x[1], reverse=True)[:self.k]


if __name__ == '__main__':
    files = glob.glob(r'./learning-nlp-master/chapter-3/data/news/C000013/*.txt')
    res = TopKFrequent(10)
    corpus = [res.get_content(x) for x in files]
    random_index = random.randint(0, len(corpus))

    split_words = [x for x in jieba.cut(corpus[random_index]) if x not in res.stop_words(r'./learning-nlp-master/chapter-3/data/stop_words.utf8')]
    print(str(res.get_TF(split_words)))