文本关键词提取算法

文本关键词提取算法
转自：http://www.cnblogs.com/a198720/p/3990666.html

1.TF-IDF

2.基于语义的统计语言模型

文章关键词提取基础件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。

采用基于语义的统计语言模型，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重。

3.TF-IWF文档关键词自动提取算法

针对现有TF-IWF的领域文档关键词快速提取算法.该算法使用简单统计并考虑词长、位置、词性等启发性知识计算词权重,并通过文档净化、领域词典 分词等方法提高了关键词提取的速度及准确度.对523篇学生心理健康领域文档的实验结果表明,该算法提取的文档关键词质量优于TF-IDF方法,且能在 O(n)时间内完成.

4.基于分离模型的中文关键词提取算法研究

关键词提取在自动文摘、信息检索、文本分类、文本聚类等方面具有十分重要的作用。通常所说的关键词实际上有相当一部分是关键的短语和未登录词,而这部分关 键词的抽取是十分困难的问题。该文提出将关键词提取分为两个问题进行处理:关键单词提取和关键词串提取,设计了一种基于分离模型的中文关键词提取算法。该 算法并针对关键单词提取和关键词串提取这两个问题设计了不同的特征以提高抽取的准确性。实验表明,相对于传统的关键词提取算法,基于分离模型的中文关键词 提取算法效果更好。

5.基于高维聚类技术的中文关键词提取算法
关键词提取是中文信息处理技术的热点和难点，基于统计信息的方法是其中一个重要分支。本文针对基于统计信息关键词提取方法准确率低的问题，提出基于高维聚 类技术的中文关键词提取算法。算法通过依据小词典的快速分词、二次分词、高维聚类及关键词甄选四个步骤实现关键词的提取。理论分析和实验显示，基于高维聚 类技术的中文关键词提取方法具备更好的稳定性、更高的效率及更准确的结果。

6.基于语义的中文文本关键词提取(SKE)算法

为克服传统关键词提取算法局限于字面匹配、缺乏语义理解的缺点，提出一种基于语义的中文文本关键词提取(SKE)算法。将词语语义特征融入关键词提 取过程中，构建词语语义相似度网络并利用居间度密度度量词语语义关键度。实验结果表明，与基于统计特征的关键词提取算法相比，SKE算法提取的关键词能体 现文档的主题，更符合人们的感知逻辑，且算法性能较优。

7.基于朴素贝叶斯模型的中文关键词提取算法研究

提出了一种基于朴素贝叶斯模型的中文关键词提取算法。该算法首先通过训练过程获得朴素贝叶斯模型中的各个参数，然后以之为基础，在测试过程完成关键 词提取。实验表明，相对于传统的if*idf方法，该算法可从小规模的文档集中提取出更为准确的关键词，而且可灵活地增加表征词语重要性的特征项，因而具 有更好的可扩展性。