tf-idf知多少？

1、最完整的解释

TF-IDF是一种统计方法，用以评估一个词对于语料库中的其中一份文件的重要程度。

--------------就是给定语料库的情况下（给定语料库就是说已知语料库的属性信息），给定一个词语term，计算一个term对于文件的重要性（就是计算一个得分），文件是可变的；

这样的话可以计算在词语在多个文件的得分然后做个排序就好了

一个直观的感觉是：一个词语在当前文件出现次数越多越重要；但是有可能是停用词

所以还得限制这个词语在语料库中出现文件次数；

所以就是一个词语对于一个文件的重要性取决于：  当前这个词语在文件中出现的次数（越多越重要）；以及这个词语在整个语料库中出现次数（越少越重要）；

其实就是评价单词对于文件的重要性，这个重要性怎么衡量？-就是后文所说  这里x是term，y是代表document，如果是一个query就会对x做sum

 

2、关于 normalization 

是有两种 normalization的操作，叫做 instance-wise和 feature-wise的normalization：

>Normalizationしてみる(instance-wise normalization)

>Scaleを合わせてみる(feature-wise normalization)

最近在做text classificaion，所以会用到 tf-idf，这个时候一般只会做 instance-wise的，这个也就是针对每个样本的每个特征做nomalizaiton

具体为什么要做instance normalization？一段文字告诉你

According to our empirical experience, instance-wise  data normalization makes the optimization problem easier to be solved.  For example, for the following vector x (0, 0, 1, 1, 0, 1,0, 1, 0), the standard data normalization divides each element of x by by the 2-norm of x. The normalized x becomes (0, 0, 0.5, 0.5,0, 0.5, 0, 0.5, 0)

转载于:https://www.cnblogs.com/amazement/p/6053944.html