Elasticsearch入门3 -通过Analyzer进行分词

最新推荐文章于 2024-07-09 15:52:30 发布
最新推荐文章于 2024-07-09 15:52:30 发布
阅读量358 收藏
点赞数
分类专栏： elk 文章标签： 运维 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DoloresOOO/article/details/118190829
版权
本文介绍了Elasticsearch中的Analyzer，分析过程涉及字符过滤器、分词器和词元过滤器。Standard Analyzer是默认分析器，包括Standard Tokenizer和小写过滤器。Simple Analyzer使用Lowercase Tokenizer并按非字母切分，提高效率。Whitespace Analyzer按空格分词，Stop Analyzer在Standard Analyzer基础上移除停用词。Keyword Analyzer不进行分词，而Pattern Analyzer利用正则表达式分词。
摘要由CSDN通过智能技术生成
Analysis 与 Analyzer
  • Analysis 文本分析就是把全文转换为一些列单词的过程，也叫分词
  • Analysis 是通过 Analyzer 来实现的
    • 可使用Elasticsearch 内置的分析器 或者按需定制分析器
  • 除了在数据写入时转换词条，匹配Query语句的时候也需要用相同的分析器对查询语句进行分析

Analyzer的组成

无论是内建的还是自定义的都是一个包，且包含了character filters、tokenizers,和token filters3个部分。

  • Character filters（字符过滤器）：字符过滤器以字符流的形式接收原始文本，并可以通过添加、删除或更改字符来转换流。 例如，字符过滤器可用于将印度-阿拉伯数字 (٠ ١٢٣٤٥٦٧٨ ٩ ) 转换为它们的阿拉伯-拉丁数字 (0123456789)，或从流中去除 <b>等 HTML 元素。

    分析器可能有零个或多个字符过滤器，它们按顺序应用。

  • Tokenizer（分词器）：分词器接收字符流，将其分解为单独的标记（通常是单个单词），然后输出标记流。 例如，空格标记器在看到任何空格时将文本分解为标记。 它会转换文本“Quick brown fox！”为Terms [Quick，brown，fox！]。

    分词器还负责记录Term的顺序或位置以及原始单词的开始和结束字符偏移量。

    一个分析器必须只有一个分词器

  • To

最低0.47元/天 解锁文章
DoloresOOO
关注
专栏目录
【Elasticsearch】Elasticsearch analyzer 分词器
九师兄
09-26 626
1.概述 什么是analysis? 分析是Elasticsearch在文档发送之前对文档正文执行的过程，以添加到反向索引中（inverted index）。 在将文档添加到索引之前，Elasticsearch会为每个分析的字段执行许多步骤： Character filtering (字符过滤器): 使用字符过滤器转换字符 Breaking text into tokens (把文字转化为标记): 将文本分成一组一个或多个标记 Token filtering：使用标记过滤器转换每个标记 Token inde
Elasticsearch7.X 入门学习第六课笔记----- Analysis & Analyzer 以及自定义Analyzer
qq_36697880的博客
09-10 1534
概念 Analysis - 文本分析，将全文本转换为一系列单词（term / token）的过程，也叫分词。 Analysis - 分析器，是通过 Analyzer 来实现的。在Elasticsearch中，我们可以使用其内置的分析器，也可以按需定制分析器。 分词器在写入和查询时都需要用到。 分析器的组成 分析器由三部分组成。 Character Filters - 字符过滤器，针对原始...
ElasticSearch系列 - analyzer分词
Aaron_涛
09-24 725
ElasticSearch系列 - analyzer分词 文章目录ElasticSearch系列 - analyzer分词什么是AnalyzerAnalyzer的组成ElasticSearch 的内置分词器ElasticSearch 使用分词器中文分词的难点中文分词的原理基于字符串匹配基于理解的分词方法基于统计的分词方法 什么是Analyzer ElasticSearch中数据的存储是要经过分词再...
Elasticsearch系列-Analyzer分词
Layne的博客
04-15 263
Elasticsearch系列-Analyzer分词Analysis与AnalyzerAnalyzer的组成ES的内置分词器中文分词器Analyzer API结语 Analysis与Analyzer Analysis：文本分析是把全文本转换一系列单词（term/ token）的过程，也叫分词。 Analyzer：ES的Analysis是通过Analyzer来实现的，ES有内置的分析器，也可以使用一些定制化分析器。 除了在数据写入时会做分词处理，在匹配Query语句时，也会使用到分词处理，使用到分词器去对查询
通过Analyzer进行分词
oimwqo的博客
09-09 340
通过Analyzer进行分词Analysis与AnalyzerAnalyzer的组成Elasticsearch的内置分词器ICU Analyzer Analysis与Analyzer Analysis - 文本分析是吧全文本转换为一系列单词（term/token）的过程，也叫分词， Analysis是通过Analyzer来实现的 可以使用Elasticsearch内置的分析器/或者按需定制化分...
Elasticsearch 中文分词器 IK 配置和使用
热门推荐
jam00的博客
10-31 6万+
Elasticsearch 内置的分词器对中文不友好，会把中文分成单个字来进行全文检索，不能达到想要的结果 看一个例子curl -XGET 'http://localhost:9200/_analyze?pretty&analyzer=standard' -d ' 第二更新 ' #返回 { "tokens" : [ { "token" : "第", "start_offset"
ELK实战，Linux版docker安装ElasticSearch、ES-head、Logstash、Kiabana入门，无坑详细图解
m0_62877071的博客
12-06 1242
项目需要，记录一次ELK日志分析系统无坑初始安装过程，并给大家整理出了操作elasticsearch的主要命令，elasticsearch！伙伴们都懂得哦！别的不多说，看过内容概览，直接开整！！！
elasticSearch学习入门-DSL查询
liushangzaibeijing的博客
01-11 4万+
本篇博文主要介绍了es的核心功能--搜索（DSL查询语句）主要是以各种丰富的查询语句来讲解，比如match条件查询、term-level范围查询、bool布尔查询、以及过滤查询，主要目的是让读者熟悉DSL相关语法 建议读者收藏 便于在以后使用过程中查阅
ElasticSearch入门--索引
一只IT小小鸟
08-27 3075
ElasticSearch介绍 ElasticSearch是文档型数据库，索引（Index）定义了文档的逻辑存储和字段类型，每个索引可以包含多个文档类型，文档类型是文档的集合，文档以索引定义的逻辑存储模型，比如，指定分片和副本的数量，配置刷新频率，分配分析器等，存储在索引中的海量文档分布式存储在ElasticSearch集群中。 ElasticSearch是基于Lucene框架的全文搜索引擎，...
ElasticSearch resthighlevelclient 对输入的字符串进行解析分词
linqi的博客
05-06 3170
使用关键词匹配做智能客服机器人的时候，后台需要输入一些问题，并且提供一些关键词供运营去选择。做完这个以后才能正式完成一个问题的录入。那么智能客服的后台需要对输入的问题做一些分词让运营去选择。 可以这样使用，返回list给前端，让运营选择问题的关键词即可。 public List<String> getAnalyze(String text) throws Exceptio...
Elastisearch 简介 使用 Query DSL 映射 分词 Elasticsearch-Rest-Client
chengqingshihuishui的博客
07-27 840
1、简介 Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎。在大数据检索的效率下，比mysql等传统数据库效率高几十倍。淘宝，京东，首页分类检索底层都是用至少Elasticsearch级别数据搜索框架。 2、基本概念 2.1 索引（Index） 就像mysql的数据库 Elastic 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。 所以，Elastic 数据管理的...
elasticsearch分词器的使用（Java REST Client API版）
qq_34918776的博客
12-11 6283
项目采用springboot为基础框架，基于ES官网Java API，通过客户端操作完成全文搜索的功能，ES版本：6.5.1；分词器：ik分词器
Elasticsearch 查询分析器简介
BXA
07-15 3066
Elasticsearch 是一个开源的分布式搜索和分析引擎，它提供了强大的查询和分析功能。它基于 Apache Lucene 构建，支持大规模数据的实时搜索，并具有高可用性和可扩展性。代码示例// 在这里实现自定义的 tokenizer 逻辑 return new CustomTokenizer();// 实现自定义 tokenizer 的逻辑 @Override public Token next() throws IOException {// 返回下一个 token } }代码示例。
ElasticSearch中文分词处理
a805814077的博客
11-23 831
使用ik插件对es进行中文分词的详细步骤
ElasticSearch添加中文分词器
kaijixin的博客
06-06 284
       关于ElasticSearch的作用和原理笔者就不再废话了，相信大家都有所理解的。咱们直接切入正题。 1.下载IK分词器        下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases        打开上述
Elasticsearch分析器（analyzer）以及与spring boot整合
lgb190730的博客
08-08 1779
文章目录1 analysis与analyzer1.1 内置的分词器1.2 内置分词器示例1.3 中文分词1.3.1 IK分词器1.3.2 HanLP1.3.3 pinyin分词器1.4 中文分词演示1.5 分词的实际应用1.5.1 设置mapping1.5.2 插入数据1.5.3 查询1.6 拼音分词器1.6.1 设置settings1.6.2 设置mapping1.6.3 数据的插入1.6.4 查询1.7 自定义中文、拼音混合分词器1.7.1 设置settings1.7.2 mappings设置1.7.3
Elasticsearch-6.倒排索引入门以及使用分析器进行分词
飘然渡沧海的博客
04-07 370
Elasticsearch 倒排索引入门 前导：https://zh.wikipedia.org/wiki/%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95 假设图书与搜索引擎的索引类比 正排索引与倒排索引 倒排索引的核心组成 倒排索引包含两个部分 单词词典 (Term Dictionary)，记录所有文档的单词，记录单词到倒排列表的关联关系 单词词典一般比较大，可以通过B +树或哈希拉链法实现，以满足高性能的插入与查询 倒排列表(Posting List) - 记录
Elasticsearch 查询分词结果新方法
xjj1314的专栏
11-30 4189
Elasticsearch 查询分词结果新方法
Elasticsearch 分析器（Analyzer）的作用和配置
最新发布
牧夏的个人博客
07-09 255
当默认分析器无法满足需求时，可以创建自定义分析器。自定义分析器允许用户指定字符过滤器、分词器和标记过滤器的组合，以实现特定的文本处理逻辑。},123456789101112131415161718192021在这个示例中，我们创建了一个名为的自定义分析器，它使用了自定义的分词器，以及内置的html_strip字符过滤器和lowercase标记过滤器。分词器使用正则表达式\s+来按空格切分文本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值