Sklearn的Tf-Idf的向量计算
对于TF-IDF的计算,我们都知道是TF与IDF的乘积,但sklearn中计算的结果和我们手动计算的不太一样,究竟是什么原因呢?
TF计算为词在文档中出现的频数。
IDF为总文档除以词出现在文档中的文档数,再求对数,再加1。即
其中,n为总文档数,df(t, d)为出现词t的文档数d。为了防止df(t, f)为0,一般我们会将n和df(t, d)加1,进行平滑。即
使用 TF * IDF即得到结果。
但是,sklearn中的计算结果却与我们计算得到的不同。
from sklearn.f
原创
2020-09-10 09:39:54 ·
637 阅读 ·
0 评论