elasticsearch自定义分词验证

最新推荐文章于 2022-09-08 15:20:42 发布
最新推荐文章于 2022-09-08 15:20:42 发布
阅读量802 收藏
点赞数
分类专栏： 学习笔记 文章标签： elasticsearch elasticsearch自定义分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyyanhxbl/article/details/98848295
版权

接上一篇博文，elasticsearch环境已经搭建完成

现在测试下自定义分词，由于我们用的插件是ik分词器

进入elasticsearch的config目录可以看到有analysis-ik目录，进入此目录打开IKAnalyzer.cfg.xml

在analysis-ik目录新建自己的分词字典

在分词字典里面建立词

然后重启，启动日志中回有：

自定义分词添加成功

开始验证自定义分词

自定义分词前分词前效果：

ik_smart:

ik_max_word:

自定义分词后分词后效果：

ik_smart:

ik_max_word:

 

北山一十六
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch怎样实现自定义分词
A798194701的博客
03-29 6143
🔊此次采用在Docker下演示ik分词器和Nginx结合使用实现分词效果 首先，如果没有下Docker，可点击此处根据步骤下载Docker 下载完成后，我们要使用docker命令下载Elasticsearch mkdir -p /mydata/elasticsearch/config # 用来存放配置文件 mkdir -p /mydata/elasticsearch/data # 数据 echo "http.host: 0.0.0.0" >/mydata/elasticsearch/conf
ElasticSearch教程——自定义分词器
东天里的冬天
10-24 4464
ElasticSearch汇总请查看：ElasticSearch教程——汇总篇 分词器 Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english（英文分词）和chinese （中文分词），默认的是standard， standard tokenizer：以单词边界进行切分 standard token filter：什么都不做...
elasticsearch5.5.1中文分词实践过程（亲测可用）
11-24
elasticsearch5.5.1中文分词实践过程，避免小白使用过程中遇到的弯路和套路。
Elasticsearch的ik分词器安装和验证
liangshitian的博客
07-24 8711
1、什么是分词器 把文本转换为一个个的单词，分词称之为analysis。es默认只对英文语句做分词，中文不支持，每个中文字都会被拆分为独立的个体。2、es内置分词器 standard：默认分词，单词会被拆分，大小会转换为小写。 simple：按照非字母分词。大写转为小写。 whitespace：按照空格分词。忽略大小写。 stop：去除无意义单词，比如the/a/an/is… keyword：不做分词。把整个文本作为一个单独的关键词。 3、ik中的两种分词器 ik_max_wor...
ElasticSearch5.3安装IK分词器并验证
WGH100817的博客
09-28 266
ElasticSearch5.3安装IK分词器 之前使用Elasticsearch安装head插件成功了，但是安装...
与自定义词典 分词_【201110】ElasticSearch实现中文分词查询
weixin_29710403的博客
01-14 261
介绍介绍今天福哥给大家介绍一下ElasticSearch的分词查询的使用技巧，通过分词查询可以避免不是很匹配的文档出现在结果当中。举例：如果查询“北京”一般情况下都是想查询关于“北京”这个地区的相关信息，但是如果没有进行分词之前，“北”和“京”会作为单独的查询匹配项和文档中的字段进行匹配，那查询出来的结果就可想而知了。为了解决这个问题，我们可以告诉ES那些词是一个整体，不要给我们拆开来单独匹配。搜...
Mac部署与测试Elasticsearch7x全文搜索、Elasticsearch-analysis-ik中文分词、Kibana命令界面
天青色等烟雨
08-05 465
You need know Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据D
elasticsearch自定义分词插件
09-27
然而，Elasticsearch默认的分词器可能无法满足所有业务场景的需求，这时我们就需要自定义分词插件来扩展其功能。本教程将围绕“elasticsearch自定义分词插件”这一主题展开，通过分析一个简单的空格分词插件实例，...
ElaticSearch自定义分词（已验证）
*** 喵桑_Rachel ***
02-08 221
虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器。 一个分析器就是在一个包里面组合了三种函数的一个包装器， 三种函数按照顺序被执行: 字符过滤器 字符过滤器 用来整理一个尚未被分词的字符串。例如，如果我们的文本是HTML格式的，它会包含像<p>或者<div>这样的HTML标签，这些标签是我们不想索引...
JAVA使用es不分词_谈谈 Elasticsearch 分词和自定义分词
weixin_39966376的博客
02-26 2393
初次接触 Elasticsearch 的同学经常会遇到分词相关的难题，比如如下这些场景：1、为什么命名有包含搜索关键词的文档，但结果里面就没有相关文档呢？2、我存进去的文档到底被分成哪些词(term)了？3、我得自定义分词规则，但感觉好麻烦呢，无从下手如果你遇到过类似的问题，希望本文可以解决你的疑惑。一、上手让我们从一个实例出发，如下创建一个文档：PUTtest/doc/1{"msg":"Eat...
Elasticsearch7 分词器(内置分词器和自定义分词器)
white_while的博客
08-05 7812
文章目录Elasticsearch7 分词器(内置分词器和自定义分词器)analysis概览char_filterhtml_stripmappingpattern_replacefilterasciifoldinglengthlowercaseuppercasengramedge_ngramdecimal_digittokenizerWord Oriented TokenizersStandard...
es进行分词测试以及自定义分词
热门推荐
metheir的博客
01-05 1万+
前言： es中的分词器由三部分组成 1、character filter:作用：先对要进行分析的文本进行一下过滤，比如html文档，去除其中的标签，比如&lt;p&gt;、&lt;html&gt;等等； 2、tokenizer:作用：对文本进行分词，把要进行分析的文本根据所指定的规则，按照其规则把文本拆分为单词,，只可以指定一个； 3、tokenizer filter:作用：把分好的词条（...
【ELK学习笔记】ik分词器安装和验证（基于elasticsearch-7.10.1）
xiao_zhu_kuai_pao的博客
02-08 965
PS：欢迎转载，但请注明出处，谢谢配合。 ik分词器安装和验证（基于elasticsearch-7.10.1）一、下载二、使用1、进入elasticsearch的 plugins 目录，2、在plugins中新建子目录 ，3、将ik的zip包内容，解压到 ...\elasticsearch-7.10.1\plugins\ik 中4、重启elasticsearch5、查看分词效果1）standard 分词器效果2）ik_smart 分词器效果3）ik_max_word 分词器效果三、实际使用效果对比1、创.
ElasticSearch中的自定义分词
qq_40990836的博客
07-15 2981
自定义分词 当 ElasticSearch 自带的分词器无法满足时， 可以自定义分词器，通过组合不同的组件实现 Character Filter Tokenizer Token Filter Character Filters 在Tokenizer 之前对文本进行处理， 例如增加删除以及 替换字符，可以配置多个 Character Filters， 会影响 Tokenizer的 po...
elasticsearch 插件开发-自定义分词方法
程高伟
09-27 1万+
elasticsearch 插件开发参考文档 官方文档，这个有点老 https://www.elastic.co/blog/found-writing-a-plugin 这是一个老外写的，也有点老，只写了个一个过滤器，最新版6.4.1不支持，不过改一下项目结构就可以了。 https://amsterdam.luminis.eu/2017/01/31/creating-elasticsearch-p...
ES 测试分词
qq_42383787的博客
08-23 1755
es中的分词器由三部分组成 1、character filter:作用：先对要进行分析的文本进行一下过滤，比如html文档，去除其中的标签，比如<p>、<html>等等； 2、tokenizer:作用：对文本进行分词，把要进行分析的文本根据所指定的规则，按照其规则把文本拆分为单词,，只可以指定一个； 3、tokenizer filter:作用：把分好的词条（也即将to...
elasticsearch 自定义hash function （routing）
zhanlanlubai的专栏
05-31 3451
本次研究基于elastic search verison 2.1.1 为何想要自定义hash function？ 本意是想提高elasticsearch的indexing速度。 具体思路就是： 1.将自己的数据在生成的时候就按照预先设定的routing逻辑分片好。 2.这样真正执行大批量bulk导入的时候，每个bulk里面都是一个shard的数据，就可以直接写到对应的shard，而不需要
Elasticsearch自定义分词器
黑马程序员官方博客
09-08 2432
分词器的基础上的拼音，比如： 长隆大马戏可以分词出马戏， 那么就应该有对应的拼音， maxi。默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分 词器做个性化定制，形成自定义分词器。拼音分词器对我们每一个汉字都解析出对应的中文，但是这个并不是我们所需要的结果，我们需要的结 果基于ik。声明自定义分词器的语法如下： 自定义分词器是属于某一个索引库的，并不是全局的。要实现拼音分词检索，就必须对文档按照拼音分词。之前对文本进行处理。，然后经过过滤器，过滤器是拼音分词 器，
Elasticsearch 0.20.6 Java API分布式搜索实战与分词器集成
在启动完成后，可以通过浏览器访问`http://localhost:9200/`来验证Elasticsearch是否已成功运行，并查看其健康状态。如果返回"ok":true,"status":200的状态，说明服务已经正常启动。 为了集成分词器，文档推荐了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值