【转】xapian全文索引库

其它资料：

http://blog.chinaunix.net/uid-26575352-id-3480687.html

http://blog.csdn.net/zhoukuanbin/article/details/51578538

以下转自：http://blog.csdn.net/zengraoli/article/details/9397853

1、先来看一下Xapian的介绍：

Xapian的官方网站是http://www.xapian.org，这是一个非常优秀的开源搜索引擎项目，搜索引擎其实只是一个通俗的说法，正式的说法其实是IR（Information Retrieval）系统。Xapian的License是GPL，这意味着允许使用者自由地修改其源码并发布之。Xapian的中文资料非常少，可以说现在互联网上连一篇完整详细的Xapian中文介绍文档，更别说中文API文档了。

Xapian由C++编写，但可以绑定到Perl, Python, PHP, Java, Tcl, C# 和Ruby甚至更多的语言，Xapian可以说是STL编程的典范，在这里您可以找到熟悉的引用计数型智能指针、容器和迭代器，甚至连命名也跟STL相似，相信一定能引起喜好C++和STL的你的共鸣（实际上，很少C++程序员完全不使用STL）。

注：

更详细的介绍请参考：http://www.162cm.com/p/xapian-learning.html

自己编译参考请参考：http://blog.csdn.net/visualcatsharp/article/details/4096639

当然你也可以直接下载我自己编译的版本：(包含在测试项目中，下载地址：)

http://download.csdn.net/detail/zengraoli/5791047

二、使用Xapian的一个例子(神马介绍都是浮云，能用起来才是王道)

[cpp]  view plain  copy

 print ?

1. // writedatabase.cpp : 定义控制台应用程序的入口点。  
2. //  
3.   
4. #include "../xapian.h"   
5. #include <iostream>  
6. using namespace std;  
7.   
8.   
9. #pragma comment(lib, "ws2_32.lib")  
10. #pragma comment(lib, "../xapian-lib/zdll.lib")  
11. #pragma comment(lib, "../xapian-lib/libapi.lib")  
12. #pragma comment(lib, "../xapian-lib/libapi.lib")  
13. #pragma comment(lib, "../xapian-lib/libbackend.lib")  
14. #pragma comment(lib, "../xapian-lib/libcommon.lib")  
15. #pragma comment(lib, "../xapian-lib/libexpand.lib")  
16. #pragma comment(lib, "../xapian-lib/libflint.lib")  
17. #pragma comment(lib, "../xapian-lib/libflintbtreecheck.lib")  
18. #pragma comment(lib, "../xapian-lib/libinmemory.lib")  
19. #pragma comment(lib, "../xapian-lib/liblanguages.lib")  
20. #pragma comment(lib, "../xapian-lib/libmatcher.lib")  
21. #pragma comment(lib, "../xapian-lib/libmulti.lib")  
22. #pragma comment(lib, "../xapian-lib/libnet.lib")  
23. #pragma comment(lib, "../xapian-lib/libquartz.lib")  
24. #pragma comment(lib, "../xapian-lib/libquartzbtreecheck.lib")  
25. #pragma comment(lib, "../xapian-lib/libqueryparser.lib")  
26. #pragma comment(lib, "../xapian-lib/libremote.lib")  
27. #pragma comment(lib, "../xapian-lib/libtest.lib")  
28. #pragma comment(lib, "../xapian-lib/libunicode.lib")  
29.   
30.   
31. #define INDEX_PATH "..\\index_data"  
32.   
33.   
34. int main(int argc, char **argv)  
35. {  
36.     try  
37.     {  
38.         // 创建或者打开一个可读写的数据库  
39.         Xapian::WritableDatabase db(INDEX_PATH, Xapian::DB_CREATE_OR_OPEN);  
40.         // 分词器  
41.         Xapian::TermGenerator indexer;  
42.         string para;  
43.         int flag = 0;  
44.         while (flag++ < 8)  
45.         {  
46.             string line;  
47.             if (cin.eof())  
48.             {    
49.                 if (para.empty()) break;  
50.             }  
51.             else  
52.             {  
53.                 getline(cin, line);  
54.             }  
55.             if (line.empty())  
56.             {  
57.                 if (!para.empty())  
58.                 {  
59.                     // 生成一个文档  
60.                     Xapian::Document doc;  
61.                     doc.set_data(para); // 定义文档数据，这些数据对于用户来说是不透明的，用户可以在这里定义文档的一些属性，或URI,路径等信息  
62.                     // 设置文档，分词  
63.                     indexer.set_document(doc);  
64.                     indexer.index_text(para);  
65.                     // Add the document to the database.  
66.                     // 把文档加入数据库  
67.                     db.add_document(doc);  
68.                     para.resize(0);  
69.                 }  
70.             }  
71.             else  
72.             {  
73.                 if (!para.empty()) para += ' ';  
74.                 para += line;  
75.             }  
76.         }    
77.   
78.         db.flush();  
79.     }  
80.     catch (const Xapian::Error &e)  
81.     {  
82.         cout << e.get_description() << endl;  
83.         exit(1);  
84.     }  
85. }  

说说上面程序核心部分的意思：

         以DB_CREATE_OR_OPEN方式打开INDEX_PATH路径下的数据库(这种方式是，不存在则创建出来，存在就直接追加)；

         在Xapian中也有这样一个概念，所有的Xapian操作都是围绕数据库来的，在索引建立的时候，所有文档(Document)都会被放入数据库中

         所以我们下一步是来创建文档：Xapian::Documentdoc;假如从控制台输入的数据不为空，那么para是有数据的(控制台通过判断当前输入是否为empty，即空行的情况)，我们去设置这个文档的内容：doc.set_data(para);

这样我们的文档里边是存在内容的了，那么我们需要通过分词器去为我们识别每一个词indexer.set_document(doc);，用indexer.index_text(para);设置我们的索引text(对于这个函数的说明是这样的)：

[cpp]  view plain  copy

 print ?

1. /** Index some text in a std::string. 
2.  * 
3.  * @param weight    The wdf increment (default 1). 
4.  * @param prefix    The term prefix to use (default is no prefix). 
5.  */  

Xapian默认是通过判断空格来区分每一个词的，所以这么设置之后，假若文档中有N个空格，那么单词数就有N+1个。

最后一步，要把这个已经分好词的文档，放到数据库中db.add_document(doc);。

这样之后，我们的数据库就有数据了，这里我的输入是：

下面来看看，怎样对刚才数据库中的这几条语句，做检索：

[cpp]  view plain  copy

 print ?

1. // search.cpp : 定义控制台应用程序的入口点。  
2. //  
3.   
4. #include "stdafx.h"  
5. #include "../xapian.h"   
6. #include <iostream>  
7. using namespace std;   
8.   
9. #pragma comment(lib, "ws2_32.lib")  
10. #pragma comment(lib, "../xapian-lib/zdll.lib")  
11. #pragma comment(lib, "../xapian-lib/libapi.lib")  
12. #pragma comment(lib, "../xapian-lib/libapi.lib")  
13. #pragma comment(lib, "../xapian-lib/libbackend.lib")  
14. #pragma comment(lib, "../xapian-lib/libcommon.lib")  
15. #pragma comment(lib, "../xapian-lib/libexpand.lib")  
16. #pragma comment(lib, "../xapian-lib/libflint.lib")  
17. #pragma comment(lib, "../xapian-lib/libflintbtreecheck.lib")  
18. #pragma comment(lib, "../xapian-lib/libinmemory.lib")  
19. #pragma comment(lib, "../xapian-lib/liblanguages.lib")  
20. #pragma comment(lib, "../xapian-lib/libmatcher.lib")  
21. #pragma comment(lib, "../xapian-lib/libmulti.lib")  
22. #pragma comment(lib, "../xapian-lib/libnet.lib")  
23. #pragma comment(lib, "../xapian-lib/libquartz.lib")  
24. #pragma comment(lib, "../xapian-lib/libquartzbtreecheck.lib")  
25. #pragma comment(lib, "../xapian-lib/libqueryparser.lib")  
26. #pragma comment(lib, "../xapian-lib/libremote.lib")  
27. #pragma comment(lib, "../xapian-lib/libtest.lib")  
28. #pragma comment(lib, "../xapian-lib/libunicode.lib")  
29.   
30.   
31. #define INDEX_PATH "..\\index_data"  
32.   
33.   
34. int main()  
35. {  
36.     try  
37.     {  
38.         //打开数据库  
39.         Xapian::Database db(INDEX_PATH);  
40.         // Start an enquire session.  
41.         // 生成查询会话  
42.         Xapian::Enquire enquire(db);  
43.         string query_string("zengraoli");  
44.         Xapian::QueryParser qp;  
45.         qp.set_database(db);  
46.         qp.set_stemming_strategy(Xapian::QueryParser::STEM_SOME);  
47.         // 解析查询条件  
48.         Xapian::Query query = qp.parse_query(query_string);  
49.         cout << "Parsed query is: " << query.get_description() << endl;  
50.         // 把解析后的查询条件放入查询会话  
51.         enquire.set_query(query);  
52.         // 得到查询结果  
53.         Xapian::MSet matches = enquire.get_mset(0, 10);  
54.         // Display the results.  
55.         cout << matches.get_matches_estimated() << " results found.\n";  
56.         cout << "Matches 1-" << matches.size() << ":\n" << endl;  
57.         // 得到查询结果  
58.         for (Xapian::MSetIterator i = matches.begin(); i != matches.end(); ++i)  
59.         {  
60.             cout << i.get_rank() + 1 << ": " << i.get_percent() << "% docid=" << *i  
61.                 << " [" << i.get_document().get_data() << "]\n\n";  
62.         }  
63.     }  
64.     catch (const Xapian::Error &e)  
65.     {  
66.         cout << e.get_description() << endl;  
67.         exit(1);  
68.     }  
69.     return 0;  
70.   
71. }  

search程序核心部分：

首先打开数据库，生成一个临时会话(相当于数据库连接中的一条管道)，设置我要查询的单词(这里是“zengraoli”)；

再来生成一个查询分析器，设置查询分析器中对应的数据库(db)，设置它的返回策略(这里选择的是部分：Xapian::QueryParser::STEM_SOME)；

设置查询条件，也就是上面的单词；

输出我们的查询条件看看：query.get_description()；

在刚才的临时会话(管道)中，设置我们上面的查询条件；

Xapian::MSet matches用来得到从数据库中返回的所以匹配的条目；

matches.get_matches_estimated()、matches.size()分别是显示出匹配的条目和大小；

我们需要一个迭代器，从匹配的条目中，逐个输出到控制台中：

[cpp]  view plain  copy

 print ?

1. for (Xapian::MSetIterator i = matches.begin(); i != matches.end(); ++i)  
2.         {  
3.             cout << i.get_rank() + 1 << ": " << i.get_percent() << "% docid=" << *i  
4.                 << " [" << i.get_document().get_data() << "]\n\n";  
5.         }  

i.get_rank()从0开始，我们必须+1，才能和使用者的三观保持一致。i.get_percent()是匹配条目的相似度(在这里是按所占文档的权重排列)的信息，；i.get_document().get_data()返回含有匹配单词的文档内容。

好了，下面我们看看结果：

测试数据，在这里是很少的，仅仅有四条doc；

可以的话，下次测试多一些的数据，看看速度如何。

整个测试项目下载地址：

http://download.csdn.net/detail/zengraoli/5791047