本系列笔记将以DotLucene的命名空间组织行文,阅读的DotLucene版本是1.9.RC1,并且以更好的使用而非研究为目的阅读。也就是说要避难就易拉。
[!21ki@][@21ki!]
0), DotLucene主要命名空间概览:
[!21ki@][@21ki!]
命名空间
[!21ki@][@21ki!]
|
功能说明
[!21ki@][@21ki!]
|
Lucene.Net.Analysis
[!21ki@][@21ki!]
|
语言分析器,主要用于切词,支持中文主要是扩展此类
[!21ki@][@21ki!]
|
Lucene.Net.Documents
[!21ki@][@21ki!]
|
索引存储时的文档结构管理,类似关系型数据库的表结构
[!21ki@][@21ki!]
|
Lucene.Net.Index
[!21ki@][@21ki!]
|
索引管理,包括索引建立、删除等
[!21ki@][@21ki!]
|
Lucene.Net.QueryParsers
[!21ki@][@21ki!]
|
查询分析器,实现查询关键词间的运算,如与、或、非等
[!21ki@][@21ki!]
|
Lucene.Net.Search
[!21ki@][@21ki!]
|
检索管理,根据查询条件,检索得到结果
[!21ki@][@21ki!]
|
Lucene.Net.Store
[!21ki@][@21ki!]
|
数据存储管理,主要包括一些底层的
I/O
操作
[!21ki@][@21ki!]
|
Lucene.Net.Util
[!21ki@][@21ki!]
|
一些公用类
[!21ki@][@21ki!]
|
[!21ki@][@21ki!]
1),
Lucene.Net.Analysis命名空间分析。
[!21ki@][@21ki!]
在
Lucene.Net.Analysis下,类的关系,可以看成有三个继承体系:
[!21ki@][@21ki!]
词法分析器(Analyzer) :
词法过滤和分析的类,实际上是对
分词器, 过滤器的综合包装类。
[!21ki@][@21ki!]
分词器(Tokenizer):对文本进行分词,可能是单字,词,二元切分等等。
[!21ki@][@21ki!]
过滤器(TokenFilter):对由分词器分词后的Token进行过滤,比如无意词(a ,是,的等等)或者其他的指定的需要过滤的词
[!21ki@][@21ki!]
下面看看每一个
继承体系都有那些相关类:
[!21ki@][@21ki!]
词法分析器(Analyzer)的相关类类关系图:[!
分词器(Tokenizer) 的相关类类关系图:[!
过滤器(TokenFilter) 的相关类类关系图: [!21ki
上面的三个类关系体系里涉及到的主要类(概念)的简单说明:
@][@21ki!]
类名
[!21ki@][@21ki!]
|
功能说明
[!21ki@][@21ki!]
|
Analyzer
[!21ki@][@21ki!]
|
分析器基类,
词法过滤和分析的类
,即把文本分解成TokenStream,即Token的序列。Analyzer只是做包装,主要还是Tokenizer在起作用
[!21ki@][@21ki!]
|
StopAnalyzer
[!21ki@][@21ki!]
|
Analyzer扩展类之一,SimpleAnalyzer功能基础上加上过滤词功能
[!21ki@][@21ki!]
|
StandardAnalyzer
[!21ki@][@21ki!]
|
Analyzer扩展类之一,也是最常用的分析器,支持中文,日文等,单字切分。
[!21ki@][@21ki!]
|
SimpleAnalyzer
[!21ki@][@21ki!]
|
Analyzer扩展类之一,
将除去字符之外的符号全部过滤掉,并且将所有的字符小写(大写)化
[!21ki@][@21ki!]
|
Token
[!21ki@][@21ki!]
|
DotLucene最基本的单位,以单字切分则每个单字为一个Token,如果以中文分词来切分则每个词为一个Token
[!21ki@][@21ki!]
|
TokenStream
[!21ki@][@21ki!]
|
Token的序列
[!21ki@][@21ki!]
|
Tokenizer
[!21ki@][@21ki!]
|
继承于TokenStream,用于分词。一般扩展的自定义的分词都应该继承这个类
[!21ki@][@21ki!]
|
[!21ki@][@21ki!]
|
[!21ki@][@21ki!]
|
StandardTokenizer
[!21ki@][@21ki!]
|
Tokenizer扩展类之一,也是最常用的,支持中文,基于单字切分
[!21ki@][@21ki!]
|
TokenFilter
[!21ki@][@21ki!]
|
继承于TokenStream的子类,用于过滤。一般拓展的自定义的过滤类都应该继承该类
[!21ki@][@21ki!]
|
StandardFilter
[!21ki@][@21ki!]
|
TokenFilter拓展类之一,过滤英文字符的复数和dot(.)号.
[!21ki@][@21ki!]
|
LowerCaseFilter
[!21ki@][@21ki!]
|
对所有英文小写化
[!21ki@][@21ki!]
|
StopFilter
[!21ki@][@21ki!]
|
过滤掉指定的过滤词
[!21ki@][@21ki!]
|
s
在所有上面这个类之中,我们经常用的也是所有Analyzer中最复杂的就是StandardAnalyzer(本身不复杂,其调用的分词器复杂),下面对这个类做一个简单的分析:[!21ki@][@21ki!]
StandardAnalyzer最核心,最主要的方法:[!21ki@][@21ki!]
[!21ki@][@21ki!]
public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
[!21ki@][@21ki!]
{
[!21ki@][@21ki!]
TokenStream result = new StandardTokenizer(reader);
[!21ki@][@21ki!]
result = new StandardFilter(result);
[!21ki@][@21ki!]
result = new LowerCaseFilter(result);
[!21ki@][@21ki!]
result = new StopFilter(result, stopSet);
[!21ki@][@21ki!]
return result;
[!21ki@][@21ki!]
}
[!21ki@][@21ki!]
就是调用StandardTokenizer分词器对文本分词。然后调用三个过滤器(作用表格有写),其中的StandardTokenizer类及相关的类比较复杂,目前还没有完全理解。所以下面的文字是需要用批判眼光来阅读的。说白了,我是一边猜,一边看源码。以求的最准确的理解。
[!21ki@][@21ki!]
先做个简单的测试,通过结果来分析:
[!21ki@][@21ki!]
string
sTemp = "我们是中国人,We are chinese";
[!21ki@][@21ki!]
Analyzer analyzer = new StandardAnalyzer() ;
[!21ki@][@21ki!]
StringReader sr = new StringReader(sTemp);
[!21ki@][@21ki!]
TokenStream ts = analyzer.TokenStream(sr);
[!21ki@][@21ki!]
Lucene.Net.Analysis.Token token = null;
[!21ki@][@21ki!]
while ((token = ts.Next()) != null)
[!21ki@][@21ki!]
{
[!21ki@][@21ki!]
this.txtResult.Text += token.ToString();
[!21ki@][@21ki!]
}
[!21ki@][@21ki!]
txtResult是Winform的TextBox,输出结果如下:
[!21ki@][@21ki!]
(我,0,1,type=<CJ>)(们,1,2,type=<CJ>)(是,2,3,type=<CJ>)(中,3,4,type=<CJ>)(国,4,5,type=<CJ>)(人,5,6,type=<CJ>)(we,7,9,type=<ALPHANUM>)(chinese,14,21,type=<ALPHANUM>)
[!21ki@][@21ki!]
[!21ki@][@21ki!]
拿(我,0,1,type=<CJ>)来分析,因为是单字切分,所以分解成了一个一个的字。其中0,1表示”我”这个字在文本中
StartOffset,EndOffset,最后的type表示文字的类型是英文,数字,还是是中文等等。在rc1.9中支持的type可以在
Lucene.Net.Analysis.Standard下的StandardTokenizerConstants类看到。而CJ代表的是中文和日文的集合。不仅仅代表中文哦。
[!21ki@][@21ki!]
分析到这里,我有一个疑问。DotLucene是怎么区别不同的文字的呢?那就是根据unicode编码的范围区别不同的文字。不过这句话,是我
猜出来,但我始终没能在DotLucene源码中找到能支持我这句话的原代码。所以猜测始终还是猜测。鉴于本次阅读DotLucene的目的是为了更好的使用,而非研究,所以对Lucene.Net.Analysis命名空间的分析只能就此打住。
[!21ki@][@21ki!]
[!21ki@][@21ki!]
后记:
[!21ki@][@21ki!]
据我所知,现在已经有很多种第三方的Analyzer。SourceForce上的有一个ChineseAnalyzer,基于二元分词算法实现中文分词。还有基于词库实现中文分词的Analyzer,一般认为。使用针对中文优化过的Analyzer可以提高搜索准确度,但是对于大多数的搜索应用,StandardAnalyzer 绝对够用,好用。为什么呢?打个比方,拿
”
国际经济
”
四个字来说,如果是StandardAnalyzer的话,无论搜索 国际,经济,还是国际经济都能搜索到。但是如果用中文分词,那就难说。那就看你的中文分词怎么分
“
国际经济
’
拉(二元分词算法的Analyzer不需要考虑这个问题)。我在给CS做的搜索系统,也是用StandardAnalyzer,绝对不用其他的Analyzer。以上纯属个人拙见。
[!21ki@][@21ki!]