心法利器[33] | 快速的关键词抽取baseline

心法利器

本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。

往期回顾

• 心法利器[28] | 如何评估一个算法效果

• 心法利器[29] | 把文本分类任务做成一个系统

• 心法利器[30] | 算法新人如何在工作中成长

• 心法利器[31] | 我的算法工程师日常

• 心法利器[32] | 一些印象深刻的bad case

关键词抽取是一个很特殊的任务，这个任务的难点却非常鲜明：

• 通常没什么训练数据，有监督方法可能哑火。

• 场景依赖很大，通用性很难做到。

• 只是辅助工作，所以重型武器很难进入，而且最好要快速有一个可靠的方案。

今天我来给大家快速地整一个baseline，这个baseline的效果不见得非常优秀，但胜在无监督、开发成本低、灵活性高、速度快，能跑起来就是好的嘛。

方案思路

整个思路的核心其实非常简单，当NLP还处于统计时代，最关键的一个指标就是这个tf-idf，tf句子中的词频，idf对应出现在给定海量数据下的文章或者句子的个数，tf越高越重要，出现在文章的文章量越多，这个词越不重要，那么，很简单的，tf-idf就是一个非常简单评价词汇重要性的指标，甚至，在短文本场景，甚至tf都不需要考虑了，idf成了唯一的，简单的标准。

换言之，一个句子中，idf最高的几个词，就可以被认为是关键词。

上代码

idf这个指标是需要大量数据去训的。当然，我们也可以去拿一些用开放域数据训的来直接用，最为直接而可靠的，也是我自己比较喜欢的是jieba内的idf.txt，大家可以直接去jieba的源码里找，没记错应该是人民日报数据来训的，我自己的经验上来看，足够支撑常用的一些场景了。当然如果不够，可以自己找语料训一个，这里就不写这个脚本了，做一个数据统计然后求个log对各位大佬来说并不困难。

来看看预测代码怎么弄吧。

首先我们先确定一下这块代码需要的东西以及需要分的模块：

• 初始化，我们需要的加载是idf词典，同时我们也需要一个默认值，对未登录词给一个默认值。

• 预测模块。

这么看内容其实不会很多，我直接把代码放上来。

import jieba
import numpy as np
import heapq

class keywordExtractor():
    def __init__(self):
        idf_dict = {}
        data_list = []
        with open("./data/idf.txt") as f:
            for line in f:
                ll = line.strip().split(" ")
                if len(ll) != 2:
                    continue
                if ll[0] not in idf_dict:
                    idf_dict[ll[0]] = float(ll[1])
                data_list.append(float(ll[1]))
        self.__idf_dict = idf_dict
        self.median = np.median(data_list)
    
    def get_idf(self,word):
        return self.__idf_dict.get(word, self.median)
    
    def predict(self, query, top_n = 1):
        if len(query) <= 2:
            return [query]
    
        # 切词
        word_list = list(jieba.cut(query))
        if len(word_list) < top_n:
            return word_list
        
        # 默认赋值
        idf_list = []
        for word in word_list:
            idf_list.append(self.get_idf(word))
           
        # 可以进行一些藏经相关的业务调整
        
        # 归一化
        weight_list = [i / max(idf_list) for i in idf_list]
        zip_list = zip(range(len(weight_list)), weight_list)
        n_large_idx = [i[0] for i in heapq.nlargest(top_n, zip_list, key=lambda x:x[1])]

        return [word_list[i] for i in n_large_idx], weight_list
    
if __name__ == "__main__":
    keyword_extractor = keywordExtractor()
    print(keyword_extractor.predict("看最近的日程"))
    print(keyword_extractor.predict("看最近的日程", 2))

加载：

• 加载这块直接走加载脚本就好了，这个应该不是很难，基本的读取操作了。

• 这里的默认值我使用的是中位数，属于经验值吧。

• 另外这里有一个细节，这个idf的词典我用的还是比较简单的

预测模块：

• 切词，然后根据词典查idf作为权重。

• 有一个模块我空了出来，这里可以根据自己的业务做一些权重的调整，例如基于位置的调权。

• 权重归一化，求一个相对的大小，为了避免长度导致的相对大小波动，所以归一化我这里除以的不是和，而是最大值。

• 另外这里求TOPN的方法也可以记录一下。

小结

这是一个无比简单但是还相对可靠的方案，大家要是想做可以用这个方式来试一下，甚至以可以用这个来做预标注来训练也行。

关键词抽取的方案网上说的真的少，我之前写过一篇词权重的文章，有兴趣大家可以看看其他的拓展方法，NLP.TM[20] | 词权重问题。