比较lucene各种英文分析器Analyzer

比较常用的几种英文分析器,他们之间的区别见程序中的注释。
SimpleAnalyzer
StandardAnalyzer
WhitespaceAnalyzer
StopAnalyzer
package  analyzer;

import  java.io.Reader;
import  java.io.StringReader;

import  org.apache.lucene.analysis.Analyzer;
import  org.apache.lucene.analysis.SimpleAnalyzer;
import  org.apache.lucene.analysis.StopAnalyzer;
import  org.apache.lucene.analysis.StopFilter;
import  org.apache.lucene.analysis.Token;
import  org.apache.lucene.analysis.Tokenizer;
import  org.apache.lucene.analysis.WhitespaceAnalyzer;
import  org.apache.lucene.analysis.standard.StandardAnalyzer;

ExpandedBlockStart.gifContractedBlock.gif
public  class  TestAnalyzer  {
    
private static String testString1 = "The quick brown fox jumped over the lazy dogs";
    
private static String testString2 = "xy&z mail is - xyz@sohu.com";
ExpandedSubBlockStart.gifContractedSubBlock.gif    
public static void testWhitespace(String testString) throws Exception{
        Analyzer analyzer 
= new WhitespaceAnalyzer();      
        Reader r 
= new StringReader(testString);      
        Tokenizer ts 
= (Tokenizer) analyzer.tokenStream("", r);      
        System.err.println(
"=====Whitespace analyzer====");
        System.err.println(
"分析方法:空格分割");
        Token t;      
ExpandedSubBlockStart.gifContractedSubBlock.gif        
while ((t = ts.next()) != null{      
           System.out.println(t.termText());      
        }
     
    }

ExpandedSubBlockStart.gifContractedSubBlock.gif    
public static void testSimple(String testString) throws Exception{
        Analyzer analyzer 
= new SimpleAnalyzer();      
        Reader r 
= new StringReader(testString);      
        Tokenizer ts 
= (Tokenizer) analyzer.tokenStream("", r);      
        System.err.println(
"=====Simple analyzer====");
        System.err.println(
"分析方法:空格及各种符号分割");
        Token t;      
ExpandedSubBlockStart.gifContractedSubBlock.gif        
while ((t = ts.next()) != null{      
           System.out.println(t.termText());      
        }
     
    }

ExpandedSubBlockStart.gifContractedSubBlock.gif    
public static void testStop(String testString) throws Exception{
        Analyzer analyzer 
= new StopAnalyzer();      
        Reader r 
= new StringReader(testString);      
        StopFilter sf 
= (StopFilter) analyzer.tokenStream("", r);
        System.err.println(
"=====stop analyzer====");  
        System.err.println(
"分析方法:空格及各种符号分割,去掉停止词,停止词包括 is,are,in,on,the等无实际意义的词");
        
//停止词
        Token t;      
ExpandedSubBlockStart.gifContractedSubBlock.gif        
while ((t = sf.next()) != null{      
           System.out.println(t.termText());      
        }
     
    }

ExpandedSubBlockStart.gifContractedSubBlock.gif    
public static void testStandard(String testString) throws Exception{
        Analyzer analyzer 
= new StandardAnalyzer();      
        Reader r 
= new StringReader(testString);      
        StopFilter sf 
= (StopFilter) analyzer.tokenStream("", r);
        System.err.println(
"=====standard analyzer====");
        System.err.println(
"分析方法:混合分割,包括了去掉停止词,支持汉语");
        Token t;      
ExpandedSubBlockStart.gifContractedSubBlock.gif        
while ((t = sf.next()) != null{      
            System.out.println(t.termText());      
        }
     
    }

ExpandedSubBlockStart.gifContractedSubBlock.gif    
public static void main(String[] args) throws Exception{
//        String testString = testString1;
        String testString = testString2;
        System.out.println(testString);
        testWhitespace(testString);
        testSimple(testString);
        testStop(testString);
        testStandard(testString);
    }


}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值