Lucene--Analyzer

最新推荐文章于 2021-02-07 14:19:08 发布
最新推荐文章于 2021-02-07 14:19:08 发布
阅读量414 收藏
点赞数
分类专栏： Lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Love_xmei/article/details/48439249
版权

Analyzer创建很多个TokenStreams，每个TokenStreams有着自己的策略去提取索引。为了定义Analyzer的工作，子类必须在createComponents(String)定义TokenStreamComponents，在每次调用方法tokenStream(String, Reader)的时候，这些组件会被重复使用

ReuseStrategy：定义tokenStream(String, java.io.Reader)每次调用时，TokenStreamComponents的重用。

TokenStreamComponents：封装了一个分词流的外部组件

GLOBAL_REUSE_STRATEGY：每个field重用相同的组件

PER_FIELD_REUSE_STRATEGY：每个field对应一个组件

阿肥猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
转：Lucene与搜索引擎技术--Analysis包分析
weixin_30344995的博客
09-21 94
作者：TjuAILabwindshow2005.11.11 原URl:http://blog.donews.com/windshow/archive/2005/11/11/622845.aspx Analysis包分析 算法和数据结构分析: 由于Analysis包比较简单,不详述了! 算法:基于机械分词 1-gram,2-gram,HMM(如果使用ICTCLAS接口的话) ...
深入浅出Lucene Analyzer
ggy101600的专栏
01-21 467
想要了解更多，加QQ群72132378 Analyzer，或者说文本分析的过程，实质上是将输入文本转化为文本特征向量的过程。这里所说的文本特征，可以是词或者是短语。它主要包括以下四个步骤：  分词，将文本解析为单词或短语归一化，将文本转化为小写停用词处理，去除一些常用的、无意义的词提取词干，解决单复数、时态语态等问题 Lucene Analyzer包含两个核心组件，T
1.解析Lucene-Analyzer类。
u012525477的博客
12-08 422
       今天开始研究发表自己对Lucene源码的一些研究，一来是为了检验自己学习的深入情况，二来是为了有一个记录以方便后续的研究查阅。其实对Lucene研究已经有一些日子，随着研究的模块越来越多。涉及的内容也越来越多。所以萌生了撰写博客的念头。Lucene的主要模块有 Lucene的analysis模块主要负责词法分析及语言处理而形成Term。 Lucene的index模块主要负责索引的...
Lucene3.0的几种分词系统
rabbit9898
11-17 258
  1、 StopAnalyzer StopAnalyzer能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。 2、 StandardAnalyzer StandardAnalyzer根据空格和符号来完成分词，还可以完成数字、字母、E-mail地址、IP地址以及中文字符的分析处理，还可以支持过滤词表，用来代替StopAnalyzer能够实现的过滤功能。 3、 SimpleAnal...
lucene学习笔记
何小杰的博客
10-09 6464
1 Lucene 全文检索技术 2 lucene介绍 2.1 什么是lucene Lucene是Apache的一个全文检索引擎工具包，通过lucene可以让程序员快速开发一个全文检索功能。 引擎：核心组件 工具包：jar包、类库 2.2 全文检索的应用场景 2.2.1 搜索引擎 2.2.2 站内搜索（关注） 2.2.3 文件系统的搜索 2.2.4 总结 Lucene和搜索引擎不是一回事 Lu...
lucene-初识
qq_41617261的博客
02-07 365
Lucene 基于java开发全文检索工具包 小结 索引库—document(文档)—域（相当于属性，存 关键字:值） 创建索引 IndexWriter：创建索引库 参数1：打开目录 参数2：配置 IndexWriter indexWriter = new IndexWriter(FSDirectory.open(new File(“索引库磁盘路径”).toPath()),new IndexWriterConfig()); Document：创建文档 Document document
Lucene教程--Analyzer分析器详解
好好学java
04-23 3771
Analyzer分析器 1Analyzer使用时机 1.1创建索引时使用Analyzer 输入关键字进行搜索，当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析，需要经过Analyzer分析器处理生成语汇单元（Token）。分析器分析的对象是文档中的Field域。当Field的属性tokenized（是否分词）为true时会对Field值进行分
ik-analyzer-8.5.0-jar
02-15
《ik-analyzer-8.5.0-jar：Java全文搜索引擎分词利器详解》 ik-analyzer是一款在Java环境下广泛使用的开源中文分词器，专为满足Java开发者在信息检索、文本分析等领域的需求而设计。这个资源是ik-analyzer的8.5.0...
IKAnalyzer-lucene-8.0.0.jar
02-13
ikanalyzer-lucene-8.0.0.jar
lucene-analyzers-common-6.6.0-API文档-中文版.zip
05-02
赠送jar包：lucene-analyzers-common-6.6.0.jar； 赠送原API文档：lucene-analyzers-common-6.6.0-javadoc.jar； 赠送源代码：lucene-analyzers-common-6.6.0-sources.jar； 赠送Maven依赖信息文件：lucene-...
lucene-dependency
10-24
在实际应用中，开发者通常会直接与这个库中的类和接口打交道，如`IndexWriter`用于创建和更新索引，`Analyzer`用于文本分词，`QueryParser`用于解析用户输入的查询语句等。 除了核心库，Lucene还有一系列的扩展模块...
lucene-core-3.0.0.rar_lucene_lucene-core3
09-20
对于中文，可以使用SmartChineseAnalyzer或IKAnalyzer。 3. **字段（Field）**：文档被划分为多个字段，每个字段有其特定的属性，如是否可搜索、是否存储原始内容等。这允许我们对不同类型的字段进行不同的处理。 ...
Lucene--DirectoryReader
阿肥猪的博客
09-29 2108
DirectoryReader ireader= DirectoryReader.open(directory)public static DirectoryReader open(final Directory directory) throws IOException { return StandardDirectoryReader.open(directory, null); }
Lucene--TokenStream（TokenFilter、Tokenizer）
阿肥猪的博客
09-11 1491
TokenStream即是从Document的域（field）中或者查询条件中抽取一个个分词而组成的一个数据流。继承TokenStream的类必须是final类型的，或者至少increamStoken的方法是final的，TokenStream是抽象类，两个子类如下： Tokenizer：输入为Reader的TokenStream TokenFilter：输入参数为另一个TokerStre
Lucene--AttributeSource
阿肥猪的博客
09-11 889
一个AttributeSource中包含着一个由不同AttributeImpl组成的列表，以及添加和获取AttributeImpl的一些方法。 内部类：State，标示每个AttributeImpl的状态 AttributeSource()：默认使用AttributeFactory.DEFAULT_ATTRIBUTE_FACTORY public AttributeSource() {
Lucene--简单的写与读
阿肥猪的博客
09-08 764
package com.lucene.demo1; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene
Lucene--AttributeImpl
阿肥猪的博客
09-11 492
AttributeImpl：所有Attributes的基类，Attributes通常用来以动态的，线程安全的方式往一个流的数据源中添加数据 clear()：清除AttributeImpl的值并重置为默认值，如果继承了多个Attribute，讲清除所有 reflectAsString(final boolean prependAttClass)：把attributes转为字符串，prepen
Lucene--Query
阿肥猪的博客
09-16 322
package com.lucene.demo2; import java.nio.file.Paths; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docum
lucene-analyzer-common6.0
最新发布
08-09
lucene-analyzer-common6.0是一个用于Apache Lucene搜索引擎的分析器库。它提供了一套用于分析文本的类和方法，包括将文本分解成单词、删除停用词、转换大小写等功能。 lucene-analyzer-common6.0是基于lucene-core...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值