Lucene的基本分词过程

8 篇文章 0 订阅
7 篇文章 0 订阅

一、Analyzer

       Analyzer类是所有分词器的基类,它是个抽象类,所有的子类必须实现

Java代码   收藏代码
  1. @Override  
  2. protected TokenStreamComponents createComponents(String fieldName, Reader reader) {  
  3.      return new TokenStreamComponents;  
  4.    }  

   

    TokenStreamComponents有两个构造方法

Java代码   收藏代码
  1. Analyzer.TokenStreamComponents(Tokenizer source)  
  2.   
  3. Analyzer.TokenStreamComponents(Tokenizer source, TokenStream result)  

 二、TokenStream

    TokenStream能够产生语汇单元序列的类,有两个类型的子类TokenFilter和Tokenizer

    1.Tokenizer是通过读取字符串创建语汇单元的 

    2.TokenFilter封装另个TokenStream去处理语汇单元,产生新的语汇单元

三、构造一个分析器理解分析链的顺序很重要

        看Lunene In Action书上写的,也不知道是不是这样理解的?

Java代码   收藏代码
  1. public class StopAnalyzer2 extends Analyzer {  
  2.   
  3.     private Set stopWords;  
  4.       
  5.     public StopAnalyzer2(){  
  6.         stopWords=StopAnalyzer.ENGLISH_STOP_WORDS_SET;  
  7.     }  
  8.     public StopAnalyzer2(String[] stopWords){  
  9.         this.stopWords=StopFilter.makeStopSet(Version.LUCENE_42, stopWords);  
  10.     }  
  11.     @Override  
  12.     protected TokenStreamComponents createComponents(String arg0, Reader arg1) {  
  13.         //首先转换为小写的流  
  14.         Tokenizer t=new LowerCaseTokenizer(Version.LUCENE_42,arg1);  
  15.           //转换后用处理去除顿词  
  16.            return new TokenStreamComponents(t, new StopFilter(Version.LUCENE_42, t, (CharArraySet) stopWords));  
  17.           
  18. //  TokenFilter tt=new LowerCaseFilter(Version.LUCENE_42, new LetterTokenizer(Version.LUCENE_42, arg1));  
  19. //   return new TokenStreamComponents(null,new StopFilter(Version.LUCENE_42, tt, (CharArraySet) stopWords));  
  20.     }  
  21. //结果看是否能把大写The过滤掉  
  22.     public static void main(String[] args) throws IOException {  
  23.         AnalyzerUtils.displayTokes(new StopAnalyzer2(), "The I love you");  
  24.     }  
  25.   
  26. }  

 结果:

 修改后

Java代码   收藏代码
  1. @Override  
  2. protected TokenStreamComponents createComponents(String arg0, Reader arg1) {  
  3.   
  4.     TokenStream filter=new StopFilter(Version.LUCENE_42, new LetterTokenizer(Version.LUCENE_42, arg1), (CharArraySet) stopWords);  
  5.        return new TokenStreamComponents(t,new LowerCaseFilter(Version.LUCENE_42, filter));  
  6.   
  7. }  

 结果:

 四、对不同分次器做的比较

        书上的Util类这个是在网上找的

Java代码   收藏代码
  1. public class AnalyzerUtils {  
  2.     public static void displayTokes(Analyzer analyzer,String text) throws IOException{  
  3.         displayTokes(analyzer.tokenStream("contents"new StringReader(text)));  
  4.     }  
  5.       
  6.     public static void displayTokes(TokenStream tokenStream) throws IOException{  
  7.          CharTermAttribute termAttribute = tokenStream.addAttribute(CharTermAttribute.class);  
  8.          tokenStream.reset();  //此行,不能少,不然会报 java.lang.ArrayIndexOutOfBoundsException  
  9.    
  10.          PositionIncrementAttribute posIncr=tokenStream.addAttribute(PositionIncrementAttribute.class);  
  11.          OffsetAttribute o=tokenStream.addAttribute(OffsetAttribute.class);  
  12.          TypeAttribute type=tokenStream.addAttribute(TypeAttribute.class);  
  13.          while(tokenStream.incrementToken()){  
  14.              System.out.print("["+termAttribute.toString()+"  "+o.startOffset()+"->"+o.endOffset()+" "+type.type()+"]");  
  15.                
  16.          }  
  17.       
  18. //       while(tokenStream.incrementToken()){  
  19. //           System.out.print("["+termAttribute.toString()+"  "+"]");  
  20. //             
  21. //       }  
  22.     }  
  23. }  

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Lucene 5.5是一个开源的Java搜索引擎库,用于文本分析、索引和搜索。在Lucene中,分词器(Tokenizer)是用于将输入文本按照特定规则切分成单词(token)的工具。 Lucene 5.5提供了多种分词器,常用的有标准分词器(StandardTokenizer)、简单分词器(SimpleAnalyzer)、关键字分词器(KeywordAnalyzer)等。这些分词器在应用场景和切分规则上有所不同,用户可以根据需求选择合适的分词器。 标准分词器是Lucene中最常用的分词器之一,它通过去除空格、标点符号等特殊字符,将输入文本切分成一系列单词。这个过程叫做词法分析(tokenizing)。标准分词器还提供了一些附加的文本处理功能,例如将单词转换为小写(lowercasing)、去除停用词(stopwords)等。 简单分词器是一个基本分词器,它将输入文本用空格切分成单词,并将单词转换为小写。这个分词器在某些简单的搜索场景中会有一定的使用价值。 关键字分词器则是将整个输入文本当作一个单词进行处理,适用于某些特殊的搜索需求。例如,当用户输入一个关键字作为搜索条件时,关键字分词器可以直接将整个关键字当作一个单词进行匹配。 除了以上提到的分词器,Lucene还提供了其他各种特定场景下的分词器,例如CJK分词器适用于中日韩文本的分词,Whitespace分词器将输入文本按照空格进行切分等等。 总结来说,Lucene 5.5提供了多种分词器供用户选择,根据不同的文本分析需求和搜索场景,选择合适的分词器可以提高搜索的效果和准确性。 ### 回答2: Lucene 5.5 是一款开源的全文搜索引擎库,其中的分词器是其核心组件之一。分词器用于将输入的文本进行切分,生成词条列表,以便进行索引和搜索。 Lucene 5.5 提供了多种分词器,常用的有标准分词器(StandardAnalyzer)和中文智能分词器(SmartChineseAnalyzer)。 标准分词器是最常用的分词器之一,它基于语法规则对文本进行切分,以空格、标点符号等作为分隔符。它能够处理英文等非中文文本,但对于中文文本效果不佳,因为中文没有明确的分隔符。 中文智能分词器是专门针对中文文本设计的分词器,它不仅考虑了语法规则,还结合了汉字之间的概率关联关系对文本进行切分。通过对大量的中文语料进行训练,智能分词器可以较好地解决中文分词中的歧义性问题,提升分词的准确性和效果。 除了以上两种分词器,Lucene 5.5 还提供了其他一些适用于特定场景的分词器,如关键字分词器(KeywordAnalyzer)和简单分词器(SimpleAnalyzer)。用户也可以根据自己的需求自定义分词器,通过实现接口来自定义词汇的切分规则。 总之,Lucene 5.5 分词器是一系列能够对文本进行切分的工具,包括了多种分词算法和规则,以满足不同场景下的需求。通过合理选择和应用分词器,可以提高全文搜索引擎的准确性和效率,为用户提供更好的搜索体验。 ### 回答3: Lucene 5.5 是一个开源的全文搜索引擎库,其中包含了许多功能强大的分词器。 在Lucene 5.5中,分词器是用于将文本分成单个的词语或词元的组件。这对于搜索引擎的索引构建和查询处理非常重要。在Lucene中,我们可以使用不同类型的分词器来满足不同的需求。 Lucene 5.5提供了许多内置的分词器。其中最常用的是StandardAnalyzer,它是基于标准英语规则的分词器,它可以将文本分成单词,并过滤掉一些常见的停用词。此外,还有KeywordAnalyzer,它将文本视为一个整体,不对其进行分词。另外还有SimpleAnalyzer,它将文本按照非字母字符进行分割,并将其小写化。还有WhitespaceAnalyzer,它将文本按照空格进行分割。 除了这些内置的分词器,Lucene 5.5还支持自定义的分词器。开发人员可以根据自己的需求实现自己的分词器。自定义分词器需要实现TokenStream接口,该接口定义了文本分词后的词元流。 通过使用Lucene 5.5的分词器,我们可以将待搜索的文本分成单个的词语或词元,从而提高搜索的准确性和效率。分词器是搜索引擎中一个非常关键的组件,它的质量和性能直接影响着整个搜索过程的效果。因此,了解和选择适合的分词器是非常重要的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值