python实现TF-IDF算法

关于TF-IDF算法的具体公式可以参考我前面的博文，然后我在这里对TF-IDF算法做一个总结，代码中num_text就是整个语料库的大小，在我的示例中，它包含2个句子。有些单词在一个句子中出现频率很高，说明该单词具有专业性，而类似the，is，as这样的词汇在每个句子中基本都会出现，它的实际意义就很小，所以，TF-IDF算法就是为了降低这些无意义词的权重。
示例中的第一个句子我用分别写了3个dog和3个is，第二个句子里只有is没有dog，最后的结果可以发现dog的权重大于is的权重，说明dog在第一个句子里专业性很强，证明了TF-IDF算法的有效性。
TF-IDF算法在搜索引擎中的用处是确定一个网页和某个查询的相关性。

def TFIDF(num_text, text_list, vocab):
    """
    :param num_text: 句子的个数
    :param text_list: 句子列表
    :param vocab: 词典列表
    """
    TF = np.zeros((num_text, len(vocab)))
    for t in range(num_text):
        for w in text_list[t]:
            if w in vocab:
                TF[t][vocab.index(w)] += 1
        for tf in range(len(TF[t])):
            TF[t][tf] = TF[t][tf] / len(text_list[t])
    
    idf = np.zeros(len(vocab))
    for i in range(num_text):
        for v in vocab:
            if v in text_list[i]:
                idf[vocab.index(v)] += 1
    
    TF_IDF = np.zeros((num_text, len(vocab)))
    for k in range(len(idf)):
        idf[k] = np.log(num_text / idf[k]) + 1
    for tt in range(num_text):
        for w_index in range(len(TF[tt])):
            TF_IDF[tt][w_index] = TF[tt][w_index] * idf[w_index]
    return TF_IDF
# 示例
num_text = 2
vocab = ['is', 'dog', 'a', 'we', 'he']
text_list = [['dog', 'pig', 'our', 'we', 'a', 'dog', 'dog', 'is', 'is', 'is'], ['he', 'is', 'he', 'our', 'he', 'a', 'a']]
print(TFIDF(num_text, text_list, vocab))
print(TFIDF(num_text, text_list, vocab))
#[[0.3        0.50794415 0.1        0.16931472 0.        ]
 #[0.14285714 0.         0.28571429 0.         0.72563451]]