四、elasticSearch分词器(Analysis和Analyzer)

已于 2022-05-22 15:16:54 修改
阅读量435 收藏 1
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch 搜索引擎 大数据
于 2022-05-21 09:20:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45370502/article/details/124894278
版权

Analysis和Analyzer区别

在这里插入图片描述
在这里插入图片描述

Analyzer组成

在这里插入图片描述

内置分词器

在这里插入图片描述

测试分词

  • 直接指定analyzer测试
  • 指定index字段进行测试
  • 自定义分词器进行测试
    在这里插入图片描述

默认分词器

在这里插入图片描述

中文分词

分词难点

  • 中英文分词差距，英文一般自然空格；中文切分是一个个词，而不是字。
  • 中文分词在不同上下文中，理解意思还不同。
    在这里插入图片描述

中文分词发展： 基于字典的分词法， 基于统计法的机器学习算法分词

IUC 分词器

安装： elasticsearch-plugin install analysis-icu
提供unicode的支持，更好的支持亚洲语言。
在这里插入图片描述

HanLP 分词器

在这里插入图片描述
在这里插入图片描述

IK分词器

在这里插入图片描述

PinYin 分词器

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

风中摇摆的人
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch Analyzer(分词器介绍)
yutanbo123的博客
07-30 571
Elasticsearch Analyzer前言Analyzer更多中文分词器总结 前言 Analysis：文本分析是把全文本转换成一系列单词(term/token)的过程，也叫分词。Analysis 是通过 Analyzer 来实现的，可以使用 ES 内置的分析器，也可使用定制的分析器。在写入数据和查询数据的时候，都需要用相同的分析器对语句进行分析。 Analyzer Analyzer 分词器是专门处理分词的组件，由三部分组成：Character Filters(处理原始文本，例如去除html、特殊字符)
ElasticSearch之ICU分词器
★【World Of Moshow 郑锴】★
08-13 5585
分词器 分词器 接受一个字符串作为输入，将 这个字符串拆分成独立的词或 语汇单元（token） （可能会丢弃一些标点符号等字符），然后输出一个 语汇单元流（token stream） 。 一个analyzer分词器包含三个部分： character filter：分词之前的预处理，过滤掉HTML标签、特殊符号转换等。 tokenizer：分词 token filter：标准化 ES内置分词器 ...
elasticsearch倒排索引、Analyzer分词
biny的博客
12-27 1017
倒排索引 正排索引（通过id查找到相应内容） 文档ID 文档内容 1 Elasticsearch Client 2 Elasticsearch Server 3 Learn Elasticsearch 倒排索引（通过内容分词，反向查找到文档Id） Term Count DocumentId:Position Elasticsearch 3 1:0，2:0，3:1 Client 1 1:1 Server 1 2:1 Learn 1 3:0
ElasticSearch 分词器
@码农充电站的专栏
02-08 332
本节介绍 ElasticSearch 如何进行分词以及分词器相关内容。
windows10 环境 es elasticsearch 安装 analysis-icu-6.8.6 NoSuchFileException
草莓Sir的博客
12-08 1660
windows10 环境 es 安装 analysis-icu-6.8.6 NoSuchFileException 问题描述 在win10环境下进行es6.8.6集icu分词器的时候出现异常 Caused by: java.nio.file.NoSuchFileException: D:\env\elasticsearch-6.8.6\plugins\analysis-icu-client-6.8.6.jar\plugin-descriptor.properties 我之前的操作，就是下载了zip安装
elasticsearch-analysis-ik 7.17.16 分词器
01-10
Elasticsearch-analysis-ik是一个将Lucence IK分词器集成到elasticsearch的ik分词器插件，并且支持自定义的词典。
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
最新发布
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
Elasticsearch的开源中文分词器 IK Analysis.zip
07-19
IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中...
ik分词器7.17.10
06-19
ik分词器7.17.10
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
在本文中，我们将探讨如何利用Elasticsearch的IK分词器并对其进行源码改造，以实现热词库的动态更新，特别是通过MySQL数据库进行热词和停用词的定时更新。首先，我们要了解IK分词器的几种常用词库配置方式。 **0. ...
支持微信分词mmicu全文搜索的sqlite数据库工具
10-13
支持微信分词算法mmicu，icu分词的sqlite工具。可以较好的进行全文搜索FullTextSearch
【ES插件】analysis-icu和analysis-kuromoji
来啦，老弟~
07-30 7405
《ES analysis-icu插件》 一、analysis-icu插件简介 ICU - International Components for Unicode Elasticsearch的ICU 分析器插件使用国际化组件 Unicode (ICU) 函数库（详情查看 site.project.org）提供丰富的处理 Unicode 工具。 这些包含对处理亚洲语言特别有用的 icu_分词器 ，...
ElasticSearch 安装 以及分词器（windows 版本）
光头小小强007的博客
11-27 1027
本文转载于：https://mp.weixin.qq.com/s/QnBqoaptV5-xKIpOBKSfHQ 1. 单节点安装 首先打开 Es 官网，找到 Elasticsearch： https://www.elastic.co/cn/elasticsearch/ 然后点击下载按钮，选择合适的版本直接下载即可。 切记下载之后切勿将压缩包解压到 Program Files 文件夹中，否则会对后续 ik 分词器中的文件读取有影响。 将下载的文件解压，解压后的目录含义如下： 目录 含义 m
索引模块-ICU分析插件（ICU Analysis Plugin）
zhengun的专栏
05-26 871
ICU Analysis Plugin The ICU analysis plugin allows for unicode normalization, collation and folding. The plugin is called elasticsearch-analysis-icu. The plugin includes the following analysis com...
八、ElasticSearch——Analyzer（分词器）
m0_38143867的博客
07-25 914
Analyzer 认识分词器 Analyzer 分析器 在ES中一个Analyzer 由下面三种组件组合而成： character filter ：字符过滤器，对文本进行字符过滤处理，如处理文本中的html标签字符。处理完后再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器，多个按配置顺序依次进行处理。 tokenizer：分词器，对文本进行分词。一个anal...
ElasticSearch安装
blacksoil55的博客
10-04 450
一、环境介绍与安装准备     1、环境说明         2台虚拟机，OS为Ubuntu13.04，ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。     2、安装准备         ElasticSearch（简称ES）由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐至少使用jdk1.6的环境，建议使用Oracle java，可以去官
elasticsearch系统学习笔记6-文本分析与分词器
晨猫
02-01 1758
elasticsearch系统学习笔记6-文本分析与分词器 概念 Analysis(文本分析) 是把全文本转换成一系列单词（term/token）的过程，也叫分词； Analysis(文本分析) 是通过 Analyzer(分词器) 来实现的； 可使用内置的分词器，也可以定制化分词器； Analyzer 的组成 分词器一般由三部分组成（也可以只包含部分组件）： Character Filters - 对原始文本进行一些处理操作；比如转换与过滤（去除） Tokenizer - 按照一定规则对文本进行切分；
Elasticsearch 流水笔记 一
u012842247的专栏
12-12 166
1、Elasticsearch 单机安装 ？ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz 这个版本需要jdk 11. 2、 下载7.1 wget https://artifacts.elastic.co/downloads/e...
[解决]Elasticsearch 8.6.0 安装，初始化乱码，运行后无法访问及安装插件，需要账号密码解决方法
weixin_38650077的博客
02-19 1378
解决方法二：修改config目录下的elasticsearch.yml文件中xpack.security.http.ssl.enable:true 为false（修改后只能用http）解决方法三：终极大法删除文件夹，重新装。【注意：删除文件夹可能提示需要管理员权限导致删除失败，我的方法是重启后删除文件夹，然后先改编码格式再启动es，保存用户名密码得以解决】解决方法二：据官方安装文档所说可以去查看相关log文档，我找遍了所有日志文件没有找到记录用户名密码的相关日志，希望有大佬可以解答。问题二：忘记账号密码。
elasticsearch安装分词器
08-25
要在Elasticsearch中安装分词器，您可以按照以下步骤操作： 1. 首先，确保您已经安装了Elasticsearch。您可以从Elasticsearch官方网站下载并安装适合您操作系统的版本。 2. 打开终端或命令提示符，并导航到Elastic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值