tfidf算法 python_tf–idf算法解释及其python代码实现(下)

tf–idf算法python代码实现

这是我写的一个tf-idf的简单实现的代码，我们知道tfidf=tf*idf，所以可以分别计算tf和idf值在相乘，首先我们创建一个简单的语料库，作为例子，只有四句话，每句表示一个文档

copus=['我正在学习计算机','它正在吃饭','我的书还在你那儿','今天不上班']

由于中文需要分词，jieba分词是python里面比较好用的分词工具，所以选用jieba分词，文末是jieba的链接。首先对文档进行分词：

import jieba

copus=['我正在学习计算机','它正在吃饭','我的书还在你那儿','今天不上班']

copus= [[word for word in jieba.cut(doc)] for doc in copus]

print(copus)

输出结果：

[['我', '正在', '学习', '计算机'], ['它', '正在', '吃饭'], ['我', '的', '书', '还', '在', '你', '那儿'], ['今天', '不', '上班']]

文档变成我们想要的格式了，然后开始词频统计，计算tf值，这里用Counter类来把每篇文档都转换成词和词频的字典，其实就已经得到tf值了

tf =