一、相关方法原理
1、tfidf
tfidf算法是一种用于文本挖掘、特征词提取等领域的因子加权技术，其原理是某一词语的重要性随着该词在文件中出现的频率增加，同时随着该词在语料库中出现的频率成反比下降，即可以根据字词的在文本中出现的次数和在整个语料中出现的文档频率，来计算一个字词在整个语料中的重要程度，并过滤掉一些常见的却无关紧要本的词语，同时保留影响整个文本的重要字词。
TF （Term Frequency，TF） 是指词频，表示词语在文本中出现的频率。设 t f i j tf_{ij} tfij为词语 t i t_i ti在文件 d j d_j dj中出现的频率，
TF 计算公式如下：
其中， n i j n_{ij} nij为该词在文 档 d j d_j dj中出现的次数。
IDF （Inverse Document Frequency，IDF） 是指逆向文档频率，用于衡量某一词语的普遍重要性。IDF 越大包含该词条的文档数越少，则表明该词条具有很好的类别区分能力。计算公式如下：
其中， D 是语料库中文档总数，| {
j : t i ∈ d j j:t_i∈d_j j:ti∈dj }|表示包含词语 t
最低0.47元/天 解锁文章
扫一扫
794
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
