TF-IDF

##1、$第j篇文档中第i个词语的t{f}_{ij}计算公式为：$

$$t{f}_{ij}=\frac{n_{ij}}{{\sum }_k{n}_{kj}}$$

• $n_{ij}是指词t_i在d_j文档中出现的次数，分母表示文档d_j中所有词出现之和。$

##2、$idf的计算公式为：$

i d f i = l o g ∣ D ∣ ∣ { j : t i ∈ d j } ∣ + 1 idf_{i}=log\frac{|D|}{|\{j:t_{i}\in d_{j}\}|+1} idfi​=log∣{j:ti​∈dj​}∣+1∣D∣​

• $|D|语料库中文件总数$

• ∣ { j : t i ∈ d j } ∣ 是 包 含 词 语 t i 的 文 件 数 目 ， 如 果 该 词 语 不 在 该 预 料 库 中 除 数 就 为 0 ， 因 此 + 1 防 止 除 数 为 0 。 |\{j:t_{i}\in d_{j}\}|是包含词语t_{i}的文件数目，如果该词语不在该预料库中除数就为0，因此+1防止除数为0。 ∣{j:ti​∈dj​}∣是包含词语ti​的文件数目，如果该词语不在该预料库中除数就为0，因此+1防止除数为0。
  ##3、$最终计第j篇文档中第i个词语的tfid{f}_{ij}计算公式为：$
  $$tfid{f}_{ij}=t{f}_{if}\times id{f}_i$$

• 某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语

注：$i代表词的编号，j代表文档的编号$