TFIDF之python实现

现在有一篇长文《中国的蜜蜂养殖》，用计算机提取它的关键词。
1、词频：如果某个词很重要，它应该在这篇文章中多次出现。我们进行"词频"（Term Frequency，缩写为TF）统计。

2、停用词：结果你肯定猜到了，出现次数最多的词是----“的”、“是”、“在”----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。

3、IDF :最常见的词（“的”、“是”、“在”）给予最小的权重，

较常见的词（“中国”）给予较小的权重，

较少见的词（“蜜蜂”、“养殖”）给予较大的权重。

这个权重叫做"逆文档频率"（Inverse Document Frequency，缩写为IDF），

它的大小与一个词的常见程度成反比。

4、TF-IDF：“词频”（TF）和"逆文档频率"（IDF）以后，两个值相乘，得到了一个词的TF-IDF值。

某个词对文章的重要性越高，它的TF-IDF值就越大。

所以，排在最前面的几个词，就是这篇文章的关键词。

如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。发现"中国"、“蜜蜂”、"养殖"这三个词的出现次数一样多，因为"中国"是很常见的词，相对而言，"蜜蜂"和"养殖"不那么常见，“蜜蜂"和"养殖"的重要程度要大于"中国”。

具体实现：

1、计算词频

词频（TF） = 某个词在文章中的出现次数，文章有长短之分，为了便于不同文章的比较,做"词频"标准化。

词频（TF） = 某个词在文章中的出现次数 / 文章总词数

或者 词频（TF） = 某个词在文章中的出现次数 / 拥有最高词频的词的次数

2、某个词在文章中的出现次数

这时，需要一个语料库（corpus），用来模拟语言的使用环境。

逆文档频率（IDF） = log（语料库的文档总数/包含该词的文档总数+1）

3、计算TF-IDF

TF-IDF = 词频（TF) * 逆文档频率（IDF）

可以看到，TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。

所以，自动提取关键词的算法就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。

从上表可见，"蜜蜂"的TF-IDF值最高，"养殖"其次，"中国"最低。（如果还计算"的"字的TF-IDF，那将是一个极其接近0的值。）

所以，如果只选择一个词，"蜜蜂"就是这篇文章的关键词。

import os
import codecs
import math
import operator


def fun(filepath):  # 遍历文件夹中的所有文件，返回文件list
    arr = []
    for root, dirs, files in os.walk(filepath):
        for fn in files:
            arr.append(root+"\\"+fn)
    return arr


def wry(txt, path):  # 写入txt文件
    f = codecs.open(path, 'a', 'utf8')
    f.write(txt)
    f.close()
    return path


def read(path):  # 读取txt文件，并返回list
    f = open(path, encoding="utf8")
    data = []
    for line in f.readlines():
        data.append(line)
    return data


def toword(txtlis):  # 将一片文章按照‘/’切割成词表，返回list
    wordlist = []
    alltxt = ''
    for i in txtlis:
        alltxt = alltxt+str(i)
    ridenter = alltxt.replace('\n', '')
    wordlist = ridenter.split('/')
    return wordlist


def getstopword(path):  # 获取停用词表
    swlis = []
    for i in read(path):
        outsw = str(i).replace('\n', '')
        swlis.append(outsw)
    return swlis


def getridofsw(lis, swlist):  # 去除文章中的停用词
    afterswlis = []
    for i in lis:
        if str(i) in swlist:
            continue
        else:
            afterswlis.append(str(i))
    return afterswlis


def freqword(wordlis):  # 统计词频，并返回字典
    freword = {}
    for i in wordlis:
        if str(i) in freword:
            count = freword[str(i)]
            freword[str(i)] = count+1
        else:
            freword[str(i)] = 1
    return freword


def corpus(filelist, swlist):  # 建立语料库
    alllist = []
    for i in filelist:
        afterswlis = getridofsw(toword(read(str(i))), swlist)
        alllist.append(afterswlis)
    return alllist


def wordinfilecount(word, corpuslist):  # 查出包含该词的文档数
    count = 0  # 计数器
    for i in corpuslist:
        for j in i:
            if word in set(j):  # 只要文档出现该词，这计数器加1，所以这里用集合
                count = count+1
            else:
                continue
    return count


def tf_idf(wordlis, filelist, corpuslist):  # 计算TF-IDF,并返回字典
    outdic = {}
    tf = 0
    idf = 0
    dic = freqword(wordlis)
    outlis = []
    for i in set(wordlis):
        tf = dic[str(i)]/len(wordlis)  # 计算TF：某个词在文章中出现的次数/文章总词数
        # 计算IDF：log(语料库的文档总数/(包含该词的文档数+1))
        idf = math.log(len(filelist)/(wordinfilecount(str(i), corpuslist)+1))
        tfidf = tf*idf  # 计算TF-IDF
        outdic[str(i)] = tfidf
    orderdic = sorted(outdic.items(), key=operator.itemgetter(
        1), reverse=True)  # 给字典排序
    return orderdic


def befwry(lis):  # 写入预处理，将list转为string
    outall = ''
    for i in lis:
        ech = str(i).replace("('", '').replace("',", '\t').replace(')', '')
        outall = outall+'\t'+ech+'\n'
    return outall


def main():
    swpath = r'哈工大停用词表.txt'#停用词表路径
    swlist = getstopword(swpath)  # 获取停用词表列表

    filepath = r'corpus'
    filelist = fun(filepath)  # 获取文件列表

    wrypath = r'TFIDF.txt'

    corpuslist = corpus(filelist, swlist)  # 建立语料库

    outall = ''

    for i in filelist:
        afterswlis = getridofsw(toword(read(str(i))), swlist)  # 获取每一篇已经去除停用的词表
        tfidfdic = tf_idf(afterswlis, filelist, corpuslist)  # 计算TF-IDF

        titleary = str(i).split('\\')
        title = str(titleary[-1]).replace('utf8.txt', '')
        echout = title+'\n'+befwry(tfidfdic)
        print(title+' is ok!')
        outall = outall+echout
    print(wry(outall, wrypath)+' is ok!')

if __name__ == '__main__':
    main()

总结：

TF-IDF算法的优点是简单快速，结果比较符合实际情况。

缺点是，单纯以"词频"衡量一个词的重要性，不够全面，有时重要的词可能出现次数并不多。

而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和每一段的第一句话，给予较大的权重。）