Lucene&&Solr——分析器（Analyzer）

最新推荐文章于 2022-11-04 13:25:54 发布
最新推荐文章于 2022-11-04 13:25:54 发布
阅读量557 收藏 1
点赞数
分类专栏： @Lucene&&Solr 文章标签： 全文检索 分析器 Analyzer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hao134838/article/details/76600101
版权
本文探讨了Lucene中的Analyzer在全文检索中的重要性，解释了分析器的执行过程，包括分词和过滤步骤。介绍了StandardAnalyzer、CJKAnalyzer和SmartChineseAnalyzer等中文分词器，并重点推荐了IKAnalyzer，详细阐述了其使用步骤。同时，文章讨论了Analyzer在索引和搜索时的应用，强调两者分析器的一致性，并提到了在Solr中安装IKAnalyzer的方法。
摘要由CSDN通过智能技术生成


   引言

   在Lucene中分析器其中举足轻重的作用，为了满足多种语言的支持，需要扩展一些分析器，仅仅是Lucene官方提供的标准分析器是远远不够的，比如对于中文，我们就需要引用第三方的中文分析器，下面就介绍几种分析器。

  分析器的执行过程：

  

  以标准分析器为例说明这个三个TokenFilter的作用：

第一个过滤器：将首字母小写

     第二个过滤器：以空格为分割线，将句进行拆分成独立的单词

     第三个过滤器：去掉一些没有意义的单词 比如 the  a  

最低0.47元/天 解锁文章
g-Jack
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
十三.Elasticsearch 分析器-analyzers
笔生花的博客
09-26 1374
目录 摘要： 一：认识analyzers三大组件 1.Character filters （字符过滤器） 2.Tokenizer （分词器） 3.Token filters （token过滤器） 二：各种分析器Analyzer 介绍 2.1Standard Analyzer（标准分析器） 2.11拓展标准分析器的语法 2.12自定义分析器的语法 2.2Sim...
8.2.1-elasticsearch内置分词器之standard/simple
红笺小字
06-08 2727
ES中内置分词器之standard/simple详细解析
Elasticsearch Analyzer 内置分词器
最新发布
qq_34285557的博客
11-04 2034
Elasticsearch Analyzer 内置分词器 篇主要介绍一下 Elasticsearch中 Analyzer 分词器的构成 和一些Es中内置的分词器 以及如何使用它们 前置知识 es 提供了 analyze api 可以方便我们快速的指定 某个分词器 然后对输入的text文本进行分词 帮助我们学习和实验分词器 POST _analyze { "analyzer": "standard", "text": "Th
Lucene系列八：分析器详解
布道
12-09 2671
分析器负责对文本进行分词、语言处理得到词条，建索引和搜索的时候都需要用到分析器。Lucene的分析器往往包括一个分词器(Tokenizer)和多个过滤器(TokenFilter)，过滤器负责对切出来的词进行处理，如去掉敏感词、转换大小写、转换单复数等。 目录 1.执行过程 1.1Analyzer 1.2TokenStream 1.3Tokenizer 1.4 TokenFilt...
用于Lucene的各中文分词比较
热门推荐
10-13 1万+
<br /><br />对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）、PaodingAnalyzer。<br />单纯的中文分词的实现一般为按字索引或者按词索引。按字索引顾名思义，就是按单个字建立索引。按词索引就是按词喽，根据词库中的词，将文字进行切分。车东的交叉双字分割或者叫二元分词我觉得应该算是按字索引的改进
solr 分词器 mmseg4j IKAnalyzer
03-02
在 Solr 中，分词器（Tokenizer）和分析器（Analyzer）是构建高效搜索索引的关键组件。分词器将输入的文本拆分成一系列的词语，而分析器则包括了分词器和其他过滤器，如去停用词、词形还原等，以优化搜索效果。 ...
ik-analyzer中文分词器for solr7
01-07
标题中的"ik-analyzer中文分词器for solr7"指的是IK Analyzer，一个专为Java开发的中文分词工具，适用于Solr搜索引擎。IK Analyzer是基于Lucene库的，它旨在提供一个简单、高效且灵活的中文分词解决方案。在Solr7这...
lucene、solr中文分词器
10-02
它们提供了强大的信息检索和文本分析功能，但Lucene默认的分词器并不适用于中文处理。因此，对于中文索引和搜索，我们需要引入专门针对中文的分词器。本篇文章将深入探讨Lucene和Solr中的中文分词器及其重要性。 ...
分词器 ikanalyzer-solr6.5
12-22
1. 在Solr的Schema.xml或managed-schema文件中，定义字段类型（fieldType）时，指定ikanalyzer作为分析器（analyzer）： ```xml <fieldType name="text_ikanalyzer" class="solr.TextField"> <analyzer type="index...
IK分词器-Lucene与Solr学习中使用
08-19
IK分词器是Java开发的一款高效、灵活的中文分词工具，特别适用于Lucene和Solr等全文搜索引擎的中文处理。在对文本进行索引和搜索时，分词器的作用至关重要，它能将中文文本拆分成有意义的词汇，以便进行后续的分析和...
Lucene内置的Analyzer分词器
杨鑫newlife的专栏
04-04 3913
Lucene分词器
ElasticSearch 解析机制常见用法库 之 analyzer常用用法
菜刚RyuGou的专栏
05-31 1万+
写ElasticSearch的搜索Schema是一件让人头疼的事儿，看着满屏的“特殊字符”（例如：“keyword”、“nGram”等等）有种想吐的感觉：为何这么定义？定义了是什么意思？有什么效果？        为此，我总结了一些用法，希望会有所帮助。        首先，要知道一个单词或者短语，进入到ElasticSearch是如何被处理的：        文字太过枯燥，我直接上从网上扒
基于lucene的案例开发：分词器介绍
小鸡慢慢的专栏
01-20 7737
在lucene创建索引的过程中，分词技术是一个十分重要的环节，介绍了7中比较常见的分词技术 CJKAnalyzer、KeywordAnalyzer、SimpleAnalyzer、StopAnalyzer、WhitespaceAnalyzer、StandardAnalyzer、IKAnalyzer
Lucene教程--Analyzer分析器详解
好好学java
04-23 3764
Analyzer分析器 1Analyzer使用时机 1.1创建索引时使用Analyzer 输入关键字进行搜索，当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析，需要经过Analyzer分析器处理生成语汇单元（Token）。分析器分析的对象是文档中的Field域。当Field的属性tokenized（是否分词）为true时会对Field值进行分
理解solr工作原理：lucene
eyeofeagle的博客
03-26 261
文章目录1, 下载lucene, 获取demo相关jar包 lucene demo样例演示：如何创建索引，如何检索数据 https://lucene.apache.org/core/7_7_3/demo/overview-summary.html#overview.description 1, 下载lucene, 获取demo相关jar包 https://lucene.apache.org/core/downloads.html ...
Lucene自带的分词器分词操作
墨竹
08-25 1447
Lucene自带的分词器分词操作： SimpleAnalyzer StopAnalyzer WhitespaceAnalyzer StandardAnalyzer package org.algorithm;import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import
Lucene支持中文分词的分析器使用
weidianlun的博客
06-05 1564
分析器（Analyzer）的执行过程如下图是语汇单元产生过程 从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Tokens。 要看分析器的分析效果，只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream，返回一个tokenStream对象。8.3.中文分析器8.3.1.Lucene自
ElasticSearch7学习笔记之用Analyzer分词
四国棋客
12-13 1488
定义 Analyzer是es中专门用来处理分词的组件，由三部分组成： Character Filters：针对原始文本的处理，例如去除html等 Tokenizer：按照规则进行分词 Token Filter：将切分的单词进行加工，例如去除修饰性单词等 分词器种类 StandardAnalyzer 这是默认分词器，按词切分，将字母转换为小写，默认关闭终止词。 使用方法如下： GET /_analyze { "analyzer": "standard", "text": "It`s a good
[3]Solr7.2.1添加自带的中文分词
翻身了，咸鱼！
03-01 3963
新的一个月开始了,写个blog清醒下今天写一下,solr7.2.1版本的添加中文分词1.切换到solr的bin 目录启动solrsolr.cmd start2.新建一个Core,名字为BBB 参考: http://blog.csdn.net/a897180673/article/details/794039523.复制jar包到solr 的web app我们访问的 127.0.0.1:8983
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

g-Jack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值