TF指词项频率，IDF指逆文档频率，假定文档集中有N篇文档， 为词项i在文档j中出现的频率（即次数）
归一化通过 除以同一文档中出现最多的词项（可能不考虑停用词的频率）来计算。
假定词项i在文档集的 篇文档中出现，那么词项i的IDF定义为：
词项i在文档j中的得分就被定义为 ，具有最高得分的那些词项通常是刻画文档主题的最佳词项。
注：TF-iDF公式不唯一，可自由选择进行归一化，如TF公式的分母，可为同一文档中出现的总词频（去除停用词）；如IDF公式的对数公式的底数。
From Minging of Massive Datasets
<script type=text/javascript charset=utf-8 src="http://static.bshare.cn/b/buttonLite.js#style=-1&uuid=&pophcol=3&lang=zh"></script> <script type=text/javascript charset=utf-8 src="http://static.bshare.cn/b/bshareC0.js"></script>
阅读(40) | 评论(0) | 转发(0) |
相关热门文章
给主人留下些什么吧！~~
评论热议
2059
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
