分词（转）

TFIDF算法获取关键词
“词频”（TF）和"逆文档频率"（IDF），将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，就是这篇文章的关键词。
TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
IDF（Inverse Document Frequency），其主要思想就是，如果包含某个词 Word的文档越少，则这个词的区分度就越大，也就是 IDF 越大

为了建立自己的语料库，我从网上爬了100个 url 存放在本地的 txt 文件中，这就相当于存放了100篇文章，即语料库的文档总数是100。
公式
1.首先需要分词：分词需要词典（专业的词典），根据词典来分割文章；停用词库，根据停用词库来过滤没有意义的语气词及特殊符号等。
2.要有语料库

Textrank算法获取关键词
PageRank
pagerank思想：




LDA主题模型
LDA模型是NLP中很基础也是大家广为熟知的模型，在面试过程也经常遇到。本文简单讲述下其大致流程。








以上讲了大致LDA的感性认识，如果进行严格的数学推导请看这篇文章(https://www.jianshu.com/p/74ec7d5f6821)，本人认为是看到的不错的文章。

4 参考资料
LDA对自己一直是一个谜，看了网上的很多资料，然后整理了几篇不错的，我在这里贴出来。本篇文章主要大致了解了下LDA的大致流程，如果真正搞懂其背后数学原理，还得反复看一下下面的文章：