TFIDF文本分析

TF-IDF是一种文本特征提取统计算法。

什么是词频？
词频（TF）即一个词语在文本中出现的频率。
文本总数（D）：所搜集的所有文本数。
含关键词的文本数（Dw）：含有某个词（关键字）的文本数目。

公式：
TF-IDF（w）=TF（w）*IDF（w）
TF（w）=w在所有文件中出现的次数/该文件的总词数。
IDF（w）=log(D/(Dw+1)）//+1避免分母为0

IDF的作用：
降低具有普遍性词语的权重（比如一些语气词），提升具有个性化的词的频率。

总结一下就是：
一个词的重要性和它在当前文档中出现的次数成正比，和所有文档中出现的次数成反比。

对于中文的文本进行处理的步骤：
1.分词处理
2.生成向量
3.根据向量去做主题聚类