Lucene分词器(搜索关键字解析器)

27 篇文章 0 订阅
23 篇文章 0 订阅
  

import java.io.StringReader;
import java.text.SimpleDateFormat;
import java.util.Date;


import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.KeywordAnalyzer;
import org.apache.lucene.analysis.SimpleAnalyzer;
import org.apache.lucene.analysis.StopAnalyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.TermAttribute;
import org.apache.lucene.util.Version;


public class luncens {


public static void analyze(Analyzer analyzer, String text) throws Exception {
   System.out.println("分词器:" + analyzer.getClass());
   TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(text));
   tokenStream.addAttribute(TermAttribute.class);         
        while (tokenStream.incrementToken()) { 
               TermAttribute termAttribute =tokenStream.getAttribute(TermAttribute.class); 
               System.out.println(termAttribute.term());                                          
        } 
}


public static void main(String[] args) throws Exception {
   String enText = "China is a great country!JC-46C(16tt)dd";
  // String chText = "昨天,一阵雷阵雨后,空气异常  地清新!46C";
   String chText = "SICAO新潮半导体电子酒柜JC-46C(16支)";
   SimpleAnalyzer analyzer1 = new SimpleAnalyzer();
   analyze(analyzer1,enText);
   analyze(analyzer1,chText);
   StopAnalyzer analyzer2 = new StopAnalyzer(Version.LUCENE_CURRENT);
   analyze(analyzer2,enText);
   analyze(analyzer2,chText);
   StandardAnalyzer analyzer3 = new StandardAnalyzer(Version.LUCENE_CURRENT);
   analyze(analyzer3,enText);
   analyze(analyzer3,chText);//逐个字切分
   WhitespaceAnalyzer analyzer4 = new WhitespaceAnalyzer();
   analyze(analyzer4,enText);
   analyze(analyzer4,chText);
   KeywordAnalyzer analyzer5 = new KeywordAnalyzer();
   analyze(analyzer5,enText);
   analyze(analyzer5,chText);
   
   SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 

Date date = new Date();
//当前时间
String endtime = format.format(date).substring(11, 13); 
System.out.println("时间="+endtime);
   }

}
















  •  



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Lucene 5.5是一个开源的Java搜索引擎库,用于文本分析、索引和搜索。在Lucene中,分词器(Tokenizer)是用于将输入文本按照特定规则切分成单词(token)的工具。 Lucene 5.5提供了多种分词器,常用的有标准分词器(StandardTokenizer)、简单分词器(SimpleAnalyzer)、关键字分词器(KeywordAnalyzer)等。这些分词器在应用场景和切分规则上有所不同,用户可以根据需求选择合适的分词器。 标准分词器Lucene中最常用的分词器之一,它通过去除空格、标点符号等特殊字符,将输入文本切分成一系列单词。这个过程叫做词法分析(tokenizing)。标准分词器还提供了一些附加的文本处理功能,例如将单词转换为小写(lowercasing)、去除停用词(stopwords)等。 简单分词器是一个基本的分词器,它将输入文本用空格切分成单词,并将单词转换为小写。这个分词器在某些简单的搜索场景中会有一定的使用价值。 关键字分词器则是将整个输入文本当作一个单词进行处理,适用于某些特殊的搜索需求。例如,当用户输入一个关键字作为搜索条件时,关键字分词器可以直接将整个关键字当作一个单词进行匹配。 除了以上提到的分词器Lucene还提供了其他各种特定场景下的分词器,例如CJK分词器适用于中日韩文本的分词,Whitespace分词器将输入文本按照空格进行切分等等。 总结来说,Lucene 5.5提供了多种分词器供用户选择,根据不同的文本分析需求和搜索场景,选择合适的分词器可以提高搜索的效果和准确性。 ### 回答2: Lucene 5.5 是一款开源的全文搜索引擎库,其中的分词器是其核心组件之一。分词器用于将输入的文本进行切分,生成词条列表,以便进行索引和搜索Lucene 5.5 提供了多种分词器,常用的有标准分词器(StandardAnalyzer)和中文智能分词器(SmartChineseAnalyzer)。 标准分词器是最常用的分词器之一,它基于语法规则对文本进行切分,以空格、标点符号等作为分隔符。它能够处理英文等非中文文本,但对于中文文本效果不佳,因为中文没有明确的分隔符。 中文智能分词器是专门针对中文文本设计的分词器,它不仅考虑了语法规则,还结合了汉字之间的概率关联关系对文本进行切分。通过对大量的中文语料进行训练,智能分词器可以较好地解决中文分词中的歧义性问题,提升分词的准确性和效果。 除了以上两种分词器Lucene 5.5 还提供了其他一些适用于特定场景的分词器,如关键字分词器(KeywordAnalyzer)和简单分词器(SimpleAnalyzer)。用户也可以根据自己的需求自定义分词器,通过实现接口来自定义词汇的切分规则。 总之,Lucene 5.5 分词器是一系列能够对文本进行切分的工具,包括了多种分词算法和规则,以满足不同场景下的需求。通过合理选择和应用分词器,可以提高全文搜索引擎的准确性和效率,为用户提供更好的搜索体验。 ### 回答3: Lucene 5.5 是一个开源的全文搜索引擎库,其中包含了许多功能强大的分词器。 在Lucene 5.5中,分词器是用于将文本分成单个的词语或词元的组件。这对于搜索引擎的索引构建和查询处理非常重要。在Lucene中,我们可以使用不同类型的分词器来满足不同的需求。 Lucene 5.5提供了许多内置的分词器。其中最常用的是StandardAnalyzer,它是基于标准英语规则的分词器,它可以将文本分成单词,并过滤掉一些常见的停用词。此外,还有KeywordAnalyzer,它将文本视为一个整体,不对其进行分词。另外还有SimpleAnalyzer,它将文本按照非字母字符进行分割,并将其小写化。还有WhitespaceAnalyzer,它将文本按照空格进行分割。 除了这些内置的分词器Lucene 5.5还支持自定义的分词器。开发人员可以根据自己的需求实现自己的分词器。自定义分词器需要实现TokenStream接口,该接口定义了文本分词后的词元流。 通过使用Lucene 5.5的分词器,我们可以将待搜索的文本分成单个的词语或词元,从而提高搜索的准确性和效率。分词器搜索引擎中一个非常关键的组件,它的质量和性能直接影响着整个搜索过程的效果。因此,了解和选择适合的分词器是非常重要的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值