传智播客——lucene全文检索技术续

一：lucene高级搜索

lucene 支持多种形式的高级搜索，我们在这一部分中会进行探讨，然后我会使用 Lucene 的 API 来演示如何实现这些高级搜索功能。

1）布尔操作符

大多数的搜索引擎都会提供布尔操作符让用户可以组合查询，典型的布尔操作符有 AND, OR, NOT。Lucene 支持 5 种布尔操作符，分别是 AND, OR, NOT, 加(+), 减(-)。接下来我会讲述每个操作符的用法。

OR: 如果你要搜索含有字符 A 或者 B 的文档，那么就需要使用 OR 操作符。需要记住的是，如果你只是简单的用空格将两个关键词分割开，其实在搜索的时候搜索引擎会自动在两个关键词之间加上 OR 操作符。例如，“Java OR Lucene” 和 “Java Lucene” 都是搜索含有 Java 或者含有 Lucene 的文档。

AND: 如果你需要搜索包含一个以上关键词的文档，那么就需要使用 AND 操作符。例如，“Java AND Lucene” 返回所有既包含 Java 又包含 Lucene 的文档。

NOT: Not 操作符使得包含紧跟在 NOT 后面的关键词的文档不会被返回。例如，如果你想搜索所有含有 Java 但不含有 Lucene 的文档，你可以使用查询语句 “Java NOT Lucene”。但是你不能只对一个搜索词使用这个操作符，比如，查询语句 “NOT Java” 不会返回任何结果。

加号（+）: 这个操作符的作用和 AND 差不多，但它只对紧跟着它的一个搜索词起作用。例如，如果你想搜索一定包含 Java，但不一定包含 Lucene 的文档，就可以使用查询语句“+Java Lucene”。

减号（-）: 这个操作符的功能和 NOT 一样，查询语句 “Java -Lucene” 返回所有包含 Java 但不包含 Lucene 的文档。

接下来我们看一下如何利用Lucene提供的 API 来实现布尔查询。清单1 显示了如果利用布尔操作符进行查询的过程。

清单1：使用布尔操作符

//Test boolean operator

            public void testOperator(String indexDirectory) throws Exception{

            Directory dir = FSDirectory.getDirectory(indexDirectory,false);

            IndexSearcher indexSearcher = new IndexSearcher(dir);

            String[] searchWords = {"Java AND Lucene", "Java NOT Lucene", "Java OR Lucene",

            "+Java +Lucene", "+Java -Lucene"};

            Analyzer language = new StandardAnalyzer();

            Query query;

            for(int i = 0; i < searchWords.length; i++){

            query = QueryParser.parse(searchWords[i], "title", language);

            Hits results = indexSearcher.search(query);

            System.out.println(results.length() + "search results for query " + searchWords[i]);

            }

            }

2）域搜索(Field Search)

Lucene 支持域搜索，你可以指定一次查询是在哪些域(Field)上进行。例如，如果索引的文档包含两个域，Title 和 Content，你就可以使用查询 “Title: Lucene AND Content: Java” 来返回所有在 Title 域上包含 Lucene 并且在 Content 域上包含 Java 的文档。清单 2 显示了如何利用 Lucene 的 API 来实现域搜索。

清单2：实现域搜索

//Test field search

            public void testFieldSearch(String indexDirectory) throws Exception{

            Directory dir = FSDirectory.getDirectory(indexDirectory,false);

            IndexSearcher indexSearcher = new IndexSearcher(dir);

            String searchWords = "title:Lucene AND content:Java";

            Analyzer language = new StandardAnalyzer();

            Query query = QueryParser.parse(searchWords, "title", language);

            Hits results = indexSearcher.search(query);

            System.out.println(results.length() + "search results for query " + searchWords);

            }

            通配符搜索(Wildcard Search)

Lucene 支持两种通配符：问号（？）和星号（*）。你可以使用问号（？）来进行单字符的通配符查询，或者利用星号（*）进行多字符的通配符查询。例如，如果你想搜索 tiny 或者 tony，你就可以使用查询语句 “t?ny”；如果你想查询 Teach, Teacher 和 Teaching，你就可以使用查询语句 “Teach*”。清单3 显示了通配符查询的过程。

清单3：进行通配符查询

//Test wildcard search

            public void testWildcardSearch(String indexDirectory)throws Exception{

            Directory dir = FSDirectory.getDirectory(indexDirectory,false);

            IndexSearcher indexSearcher = new IndexSearcher(dir);

            String[] searchWords = {"tex*", "tex?", "?ex*"};

            Query query;

            for(int i = 0; i < searchWords.length; i++){

            query = new WildcardQuery(new Term("title",searchWords[i]));

            Hits results = indexSearcher.search(query);

            System.out.println(results.length() + "search results for query " + searchWords[i]);

            }

            }

             模糊查询

Lucene 提供的模糊查询基于编辑距离算法(Edit distance algorithm)。你可以在搜索词的尾部加上字符 ~ 来进行模糊查询。例如，查询语句 “think~” 返回所有包含和 think 类似的关键词的文档。清单 4 显示了如果利用 Lucene 的 API 进行模糊查询的代码。

清单4：实现模糊查询

//Test fuzzy search

            public void testFuzzySearch(String indexDirectory)throws Exception{

            Directory dir = FSDirectory.getDirectory(indexDirectory,false);

            IndexSearcher indexSearcher = new IndexSearcher(dir);

            String[] searchWords = {"text", "funny"};

            Query query;

            for(int i = 0; i < searchWords.length; i++){

            query = new FuzzyQuery(new Term("title",searchWords[i]));

            Hits results = indexSearcher.search(query);

            System.out.println(results.length() + "search results for query " + searchWords[i]);

            }

            }

             范围搜索(Range Search)

范围搜索匹配某个域上的值在一定范围的文档。例如，查询 “age:[18 TO 35]” 返回所有 age 域上的值在 18 到 35 之间的文档。清单5显示了利用 Lucene 的 API 进行返回搜索的过程。

清单5：测试范围搜索

//Test range search

            public void testRangeSearch(String indexDirectory)throws Exception{

            Directory dir = FSDirectory.getDirectory(indexDirectory,false);

            IndexSearcher indexSearcher = new IndexSearcher(dir);

            Term begin = new Term("birthDay","20000101");

            Term end   = new Term("birthDay","20060606");

            Query query = new RangeQuery(begin,end,true);

            Hits results = indexSearcher.search(query);

            System.out.println(results.length() + "search results is returned");

            }

二 COMPASS与HIBERNATE对比

主配置

1，编程：cfg.setProperty(key, value)

2，xml文件: hibernate.cfg.xml, compass.cfg.xml

映射信息

1，xml文件: xxx.hbm.xml

2，注解

==================================================

一、Hibernate

Configuration cfg = new Configuration().configure();

SessionFactory sf = cfg.buildSessionFactory();

Session session = sf.openSession();

Transaction tx = session.beginTransition();

// session.save( obj ); ...

tx.commit();

session.close();

二、Compass

CompassConfiguration cfg = new CompassConfiguration().configure(); 

Compass compassSessionFactory = cfg.buildCompass();

CompassSession session = compassSessionFactory.openSession();

CompassTransaction tx = session.beginTransition();

// session.save( obj ); ...

tx.commit();

session.close();

Hibernate.Session Compass.Session

--------------------------------------------

save() create() 保存到库

delete() delete()

update() save()

saveOrUpdate() save() 先删除再创建

get() get()

load() load()

CompassQuery

Lucene + Hibernate = Compass

学习总结：lucene学完了，全文检索技术是目前很牛的开源项目，也是检索技术里现成的检索技术，必须要花时间学好。