java 分词搜索_基于JAVA的小型中文分词系统

摘要：互联网信息飞速增长，网络资源不断增加，于是搜索引擎应运而生，它的出现为我们在网络上搜集我们所需要的资源提供了很大的方便，但是人们并不满足于早期的搜索引擎的功能和速度，于是搜索引擎开始不断地被更新和完善，而分词对于搜索引擎的更新和完善起着很重要的作用。分词作为搜索引擎的重要组成部分，对搜索引擎的查找正确率以及查找速度具有很大的影响。它将用户输入的语句分割成一个个词语和单字，这样检索程序就能很容易地理解用户所需要的信息，从而为用户返回正确且有价值的信息资料。本文通过对正向最大匹配、逆向最大匹配等分词算法以及词典的整词二分、TRIE索引树、逐字二分和双哈希构造方法进行理论分析，了解各种分词算法和词典构造方法的优点和缺点，并用Java编程实现正向最大匹配、逆向最大匹配的分词算法以及一维线性表、首字哈希、双哈希三种词典构造方法，最终整合实现了Java分词系统。

关键词：中文分词；词典；最大匹配；双哈希

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324(2013)24-0151-04

一、绪论

对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，也没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。例如在搜索引擎上输入“和服”，得到的结果中就发现了下面这句话“通信信息报：卡巴斯基以技术和服务开拓网络安全市场”，这就是由于分词不准确所造成的问题。从这里看到中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的关系。另外，在整个搜索过程中进场要进行词典的查询࿰