fourth(拼写纠正)

Xapian提供了拼写校正功能,其基本算法就是编辑距离,它支持UTF-8,支持中文。

1、建立拼写校正辞典

虽然编辑距离的算法很土很原始,但是Xapian提供了方便的接口建立辞典,至少有如下两种方式:
(1)Xapian::WritableDatabase.db.add_spelling(word, freq)
word就是正确的词,freq是出现频率,默认是1。
频率的作用是这样的,如果对于一个词比如篮球和蓝球,前者add了4次,后者出现了3词,那么当对”兰球”进行拼写纠正的时候,就会选择多的那个即篮球。
(2)上面的add_spelling方法有点麻烦,如果把一个词一个词添加进去不是很麻烦……于是我们继续借助TermGenerator.
首先Xapian::TermGenerator.set_database(db)
然后Xapian::TermGenerator.set_flags(FLAG_SPELLING)
之后,索引通过TermGenerator建索引的词都会被加入到Spelling辞典中了!

2、使用辞典进行拼写校正

进行拼写校正,这是在Query阶段完成的。

(1)打开Xapian::Database
(2)调用db.get_spelling_suggestion(word,dist = 2)就能获得校正啦!如果没有建议的校正,会返回一个空的字符串,这需要自己处理一下。dist是允许的最大编辑距离,默认是2.

总体来说,虽然编辑距离算法是最土的算法之一(相对与语义分析等高端技术),但对于一般的简单检索系统已经足够了。更何况Xapian提供了强大、合理的接口,让我们能很方便的建立起拼写纠正辞典,这真的已经是很人性化的了。

方法一代码:

#include<iostream>

#include<xapian.h>

#include<string>
#define CONTENT  "70比 69, 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 , 笑 到 最后 的是 东道主 中国队 。 可以说 , 这是 一次 最 惊险 的 胜利 ; 也可 以 说 , 这是 中国男篮 最 幸运 的 结局 。终 >  场 哨 响 , 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 , 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 , 赢得 很 庆幸 。"
using namespace std;
const char*SPELLS[3]={"篮球","蓝球","蓝球"};
int main(int argc , char **argv){
   try{
string content(CONTENT);
Xapian::WritableDatabase database(argv[1] , Xapian::DB_CREATE_OR_OPEN);
Xapian::Document document;
Xapian::TermGenerator indexer;
document.set_data(content);
indexer.set_document(document);
indexer.index_text(content);
database.add_document(document);
for(int i = 0; i < 3; ++i){
database.add_spelling(string(SPELLS[i]), 1000);
}
database.commit();
}catch(const Xapian::Error &e){
cout<<e.get_description()<<endl;
}
 }

方法二代码:

#include<iostream>
#include<xapian.h>
#include<string>
#define CONTENT  "70比 69, 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 , 笑 到 最后 的是 东道主 中国队 。 可以说 , 这是 一次 最 惊险 的 胜利 ; 也可 以 说 , 这是 中国男篮 最 幸运 的 结局 。终 >  场 哨 响 , 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 , 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 , 赢得 很 庆幸 。"
using namespace std;
int main(int argc , char **argv){
   try{
string content(CONTENT);
Xapian::WritableDatabase database(argv[1] , Xapian::DB_CREATE_OR_OPEN);
Xapian::Document document;
Xapian::TermGenerator indexer;
indexer.set_database(database);
indexer.set_flags(indexer.FLAG_SPELLING);
document.set_data(content);
indexer.set_document(document);
indexer.index_text(content);
database.add_document(document);
database.commit();
}catch(const Xapian::Error &e){
cout<<e.get_description()<<endl;
}
 }


搜索 代码:

#include<iostream>
#include<xapian.h>
using namespace std;
#define WORD " 兰球"
int main(int argc , char **argv){
try{
string word(WORD);
Xapian::Database database(argv[1]);
cout<<"spelling suggesting for "<<word<<" is "<<database.get_spelling_suggestion(string(word))<<endl;
}catch(const Xapian::Error &e){
cout<<e.get_description()<<endl;
}
}


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值