对于tf与idf的个人理解

#对于tf与idf的理解

• 对于这两个名词，我们都理解，但是为什么要弄出tf*idf来表示一个词的重要性呢？
• 对于idf，也就是逆文档频率如何去理解？

​ 逆文档频率的公式是log(总文档数/出现该词的文档数)，要说发明这个公式的人是真的厉害因为log（）里面的这个商，他永远是大于等于1的，一个词出现文章越多，idf就会越小，说明什么，说明这词的普遍率较高，不是那么特殊，不是我们想要的ssr（稀有啊） 。举个例子我们理解一下：

​ 比如说：我有500篇文章关于抢劫的文章，里面都会有“a”这个词，tf 我们可以不管，因为每一篇文章出现的词频率是不一样的。但是那么idf呢，很显然它是0啊，因为log（1）等于0啊。那么不管tf是多少，tfidf都是0。再举几个例子‘b’在某一篇文章的tf为0.5，‘c’也是0.5，但是包含b的有100，包含C50篇。那么有关于b的tfidf将会比c的小，所以c较为反映这篇文章的特征，能成为我们需要的关键词。