TFIDF与TextRank

TF-IDF是信息检索领域中对搜索词重要性的度量，衡量一个关键词w对于查询所提供的信息。

TF词频：表示关键词w在文档Di中出现的频率；Di为第i个文档中所有词的总数

IDF逆文档频率：表示词的普遍程度；一个词越普遍，其IDF值越低；

所有文档总数N，I表示关键词w是否出现在Di文档，I=0/1是指示函数

TF-IDF=TF*IDF

总结：当一个词在文档中出现的频率越高且普遍度低时，其tf-idf值越高；兼顾了词频与新鲜度，可以过滤掉一些常见的词，保留能反映特征的重要词

TextRank:通过词之间的相邻关系来构建词网络，然后用PageRank来计算每个节点的rank值，排序rank值来得到关键词

 不同的词对有不同的共现，即两个节点之间的边连接权值不同；TextRank把共现作为无向图边的权值w；TextRank将某一个词与前面的N个词及后面的N个词构成相邻关系；实现：设置一个滑动窗口，窗口内的词均为相邻关系

构成一个有权无向图词网络

其中，In(Vi)代表第i节点的前驱，Out(Vj)代表j节点的后继