利用信息熵提取文章关键词

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

               

 

目前，对于文章中提取关键词最常用的方法莫过于TF-IDF，但是这样提取出来的关键词并不一定准确。

 

举个最简单的例子来说，在新闻中最前面出现“记者李元芳报道”，分词后的结果是“记者、李元芳、报道”，对于这三个词，“记者”和“报道”的经常出现，idf值一般来说可能会很低，而“李元芳”这个刚出道不久名不见经传的无名小辈可能对google免疫，造成的结果是idf值极高。尽管“李元芳”在文章中仅出现这一次，但足以奠定它是关键词老大的地位。

 

显然如果把“李元芳”作为文章关键词是错误的，至少也不应该排在前五位。于是有人想到可以用词频的方法来干掉“李元芳”，文中出现一次的统统不考虑，这样的方法在一些情况下有效，但是当文章很短，几乎每个词都仅出现一次的时候就提取不到任何关键词了。另一种方法是干掉idf值很高的，但是值多高才是高这又是一个问题。

 

细细分析来看，之所以出现这样的局面完全是idf在作怪。其实在求解idf的时候，需要得到每个词词频，而这又需要语料来统计。显然，语料是越多越好&#x