前言
目前处于工作交接阶段,比较清闲,花了几天时间看了Lucene,了解一下这个老总一直说要用之来解决项目中的问题的东东。Lucene的原理相对简单,有几篇文章很好地进行了介绍,见参考资料,这里只是按自己的理解整理一下。Lucene In Action对具体的细节有比较深入的介绍,遗憾的是该书是针对1.x版本的,新版本有很多变化,不过不影响对其原理的理解。
要想从海量数据中快速地查找需要的信息,比如用户想要通过Amazon查找需要的图书,最有效的方式就是建立索引,然后基于这些索引就可以快速的定位信息。Lucene是一个开源的组件包,具体的应用可以基于这个组件包提供索引构建和信息搜索功能。
使用Lucene主要包含两个步骤,一是构建索引,二是基于索引进行搜索。这两个步骤通常是两个分离的进程,最常用的作法是后台构建索引,前台提供搜索支持。
Lucene的索引构建是基于文本文件的,如果要针对其他数据源,如数据库记录进行索引,必须进行一些预处理,Lucene本身提供对PDF,WORD等文件类型的解析器。
构建索引的过程有一个比较关键的步骤是分词技术,Lucene发布包不提供对中文分词的支持,不过目前处于SandBox阶段有一个中文分词实现。如果要提高搜索的性能和质量,必须针对特定的应用实现自己的分词器。
实践
写了一个简单的示例,试用了一下Lucene,基于lucene2.1.0版本,需要下载该版本的jar文件,包含在类路径即可,因为要测试中文检索,所以还需要从lucene官网下载中文的分词包。
示例基于这样一个场景,要能很方便的根据名称查找我机器上的MP3文件,必须支持模糊查询,为了方便测试,我准备了四个mp3文件,分别是堕落天使.mp3,没你的日子.mp3,如果你还爱我.mp3,天堂.mp3。
Mp3Searcher类主要包含两个方法,buildIndex主要用来基于上述MP3文件构建索引,目前这些索引保存在RAMDirectory中,这是一个基于内存的索引存储,运行完毕不会持久化。search方法接受一个查询字符串,返回查找结果。
- public class Mp3Searcher
- {
- public static final String DATA_DIR = "E:\\temp\\mp3";
- protected static Log log = LogFactory.getLog(Mp3Searcher.class);
- private RAMDirectory directory = null;
- private ChineseAnalyzer analyzer = null;
- public Mp3Searcher()
- {
- directory = new RAMDirectory();
- analyzer = new ChineseAnalyzer();
- }
- /**
- * 查询指定歌名的结果
- *
- * @throws IOException
- * @throws ParseException
- */
- public Hits search( String name) throws IOException, ParseException
- {
- IndexSearcher searcher = new IndexSearcher(directory);
- QueryParser parser = new QueryParser("name",analyzer);
- return searcher.search(parser.parse(name));
- }
- // 构建索引
- public void buildIndex( String dataDir) throws IOException
- {
- IndexWriter writer = new IndexWriter(directory, analyzer, true);
- // 遍历所有的mp3文件,添加到索引文件中
- Collection files = FileUtils.listFiles(new File(DATA_DIR),
- new String[] { "mp3" }, false);
- if (files != null)
- {
- Iterator iterator = files.iterator();
- Document doc = null;
- File file = null;
- while (iterator.hasNext())
- {
- file = (File) iterator.next();
- doc = new Document();
- doc.add(new Field("name", FilenameUtils.getBaseName(file
- .getAbsolutePath()), Field.Store.YES,
- Field.Index.TOKENIZED));
- writer.addDocument(doc);
- log.debug("index file " + file.getName());
- }
- }
- writer.optimize();
- writer.close();
- }
- }
测试用例如下:
- public class Mp3SearcherTest extends TestCase
- {
- private Mp3Searcher searcher = new Mp3Searcher();
- public void setUp() throws Exception
- {
- searcher.buildIndex(Mp3Searcher.DATA_DIR);
- }
- public void testSearch() throws Exception
- {
- Hits results = searcher.search("没你的日子");
- assertEquals(1,results.length());
- Document doc = results.doc(0);
- assertEquals("没你的日子",doc.getField("name").stringValue());
- results = searcher.search("天");
- assertEquals(2,results.length());
- doc = results.doc(0);
- assertNotNull(doc);
- }
- }
总结
Lucene提供一个非常简单易用的API,可以很容易的基于其构建搜索引用,同时也提供很好的扩展。要构建一个成熟的产品级应用,还需要做很多工作,主要包括如何实现针对特定领域的分词技术来提高索引的质量,索引的大小。
如何基于数据库进行索引
很多应用的数据都是存储在数据库中的,比如china-pub的所有的书籍目录,CMS中的客户资料。如何针对这些数据来源构建搜索应用呢?
可以建一个后台进程,在闲时构建增量索引,比如每天晚上12点。这种方式不能保证实时查询到最新录入的数据,搜索会有一定的延迟,但是大多数这种应用都能接受这种延迟。如果要在每次增加新的数据时构建索引,会极大的影响应用的性能。
参考资料
www.ibm.com/developerworks/cn/java/j-lo-lucene1/