Elastic Search配置Nginx提供分词器所需的自定义词库改善分词效果------Elastic Search

最新推荐文章于 2024-08-12 18:30:00 发布
最新推荐文章于 2024-08-12 18:30:00 发布
阅读量512 收藏 15
点赞数 17
分类专栏： # Elastic Search 数据库 文章标签： 搜索引擎 微服务 数据库 后端 mybatis 分布式 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75960169/article/details/140462574
版权 
POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "巧碧螺殿下"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "巧碧螺殿下"
}

{
  "tokens" : [
    {
      "token" : "巧碧螺",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "殿下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

 {
  "tokens" : [
    {
      "token" : "巧碧螺",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "殿下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

[root@localhost es]# pwd
/mydata/nginx/html/es
[root@localhost es]# cd /mydata
[root@localhost mydata]# cd elasticsearch/
[root@localhost elasticsearch]# ls
config  data  plugins
[root@localhost elasticsearch]# cd plugins/
[root@localhost plugins]# ls
ik
[root@localhost plugins]# cd ik/
[root@localhost ik]# ls
commons-codec-1.9.jar    config                               httpclient-4.5.2.jar  plugin-descriptor.properties
commons-logging-1.2.jar  elasticsearch-analysis-ik-7.4.2.jar  httpcore-4.4.4.jar    plugin-security.policy
[root@localhost ik]# cd config/
[root@localhost config]# ls
extra_main.dic         extra_single_word_full.dic      extra_stopword.dic  main.dic         quantifier.dic  suffix.dic
extra_single_word.dic  extra_single_word_low_freq.dic  IKAnalyzer.cfg.xml  preposition.dic  stopword.dic    surname.dic
[root@localhost config]# vi IKAnalyzer.cfg.xml 
[root@localhost config]# docker restart elasticsearch
Error response from daemon: No such container: elasticsearch
[root@localhost config]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED          STATUS          PORTS                                                                                                                                      NAMES
4f19fab031f0   nginx:1.10            "nginx -g 'daemon of…"   16 minutes ago   Up 16 minutes   0.0.0.0:80->80/tcp, :::80->80/tcp, 443/tcp                                                                                                 nginx
1b6793c54215   elasticsearch:7.4.2   "/usr/local/bin/dock…"   31 minutes ago   Up 31 minutes   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp                                                       elasticsearch-p
5a879124a74b   kibana:7.4.2          "/usr/local/bin/dumb…"   7 days ago       Up 37 minutes   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                                                                                  kibana
25a5439186fa   d445c0adc9a5          "docker-entrypoint.s…"   2 months ago     Up 37 minutes   4369/tcp, 5671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp, :::15672->15672/tcp, 0.0.0.0:5673->5672/tcp, :::5673->5672/tcp   rabbit
db61879bdaf3   redis                 "docker-entrypoint.s…"   4 months ago     Up 37 minutes   0.0.0.0:6379->6379/tcp, :::6379->6379/tcp                                                                                                  redis
8b875b01624e   mysql:5.7             "docker-entrypoint.s…"   4 months ago     Up 37 minutes   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                                                                       mysql
[root@localhost config]# docker restart 1b6793c54215
1b6793c54215
[root@localhost config]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1494         900         177          30         415         408
Swap:          2047         182        1865

 [root@localhost es]# pwd
/mydata/nginx/html/es
[root@localhost es]# cd /mydata
[root@localhost mydata]# cd elasticsearch/
[root@localhost elasticsearch]# ls
config  data  plugins
[root@localhost elasticsearch]# cd plugins/
[root@localhost plugins]# ls
ik
[root@localhost plugins]# cd ik/
[root@localhost ik]# ls
commons-codec-1.9.jar    config                               httpclient-4.5.2.jar  plugin-descriptor.properties
commons-logging-1.2.jar  elasticsearch-analysis-ik-7.4.2.jar  httpcore-4.4.4.jar    plugin-security.policy
[root@localhost ik]# cd config/
[root@localhost config]# ls
extra_main.dic         extra_single_word_full.dic      extra_stopword.dic  main.dic         quantifier.dic  suffix.dic
extra_single_word.dic  extra_single_word_low_freq.dic  IKAnalyzer.cfg.xml  preposition.dic  stopword.dic    surname.dic
[root@localhost config]# vi IKAnalyzer.cfg.xml 
[root@localhost config]# docker restart elasticsearch
Error response from daemon: No such container: elasticsearch
[root@localhost config]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED          STATUS          PORTS                                                                                                                                      NAMES
4f19fab031f0   nginx:1.10            "nginx -g 'daemon of…"   16 minutes ago   Up 16 minutes   0.0.0.0:80->80/tcp, :::80->80/tcp, 443/tcp                                                                                                 nginx
1b6793c54215   elasticsearch:7.4.2   "/usr/local/bin/dock…"   31 minutes ago   Up 31 minutes   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp                                                       elasticsearch-p
5a879124a74b   kibana:7.4.2          "/usr/local/bin/dumb…"   7 days ago       Up 37 minutes   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                                                                                  kibana
25a5439186fa   d445c0adc9a5          "docker-entrypoint.s…"   2 months ago     Up 37 minutes   4369/tcp, 5671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp, :::15672->15672/tcp, 0.0.0.0:5673->5672/tcp, :::5673->5672/tcp   rabbit
db61879bdaf3   redis                 "docker-entrypoint.s…"   4 months ago     Up 37 minutes   0.0.0.0:6379->6379/tcp, :::6379->6379/tcp                                                                                                  redis
8b875b01624e   mysql:5.7             "docker-entrypoint.s…"   4 months ago     Up 37 minutes   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                                                                       mysql
[root@localhost config]# docker restart 1b6793c54215
1b6793c54215
[root@localhost config]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1494         900         177          30         415         408
Swap:          2047         182        1865

[root@localhost nginx]# docker images
REPOSITORY      TAG       IMAGE ID       CREATED       SIZE
redis           latest    7614ae9453d1   2 years ago   113MB
mysql           5.7       c20987f18b13   2 years ago   448MB
kibana          7.4.2     230d3ded1abc   4 years ago   1.1GB
elasticsearch   7.4.2     b1179d41a7b4   4 years ago   855MB
nginx           1.10      0346349a1a64   7 years ago   182MB
[root@localhost nginx]# cd ../
[root@localhost mydata]# mv nginx conf
[root@localhost mydata]# ls
conf  elasticsearch  mysql  redis
[root@localhost mydata]# mkdir nginx
[root@localhost mydata]# mv conf nginx/
[root@localhost mydata]# ls
elasticsearch  mysql  nginx  redis
[root@localhost mydata]# cd nginx/
[root@localhost nginx]# ls
conf
[root@localhost nginx]# docker run -p 80:80 --name nginx \
>   -v /mydata/nginx/html:/usr/share/nginx/html \
>   -v /mydata/nginx/logs:/var/log/nginx \
>   -v /mydata/nginx/conf:/etc/nginx \
>   -d nginx:1.10
4f19fab031f08f46c1444ff38452d41aed589422692085c2c8f3ce2110d52149
[root@localhost nginx]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED          STATUS          PORTS                                                                                                                                      NAMES
4f19fab031f0   nginx:1.10            "nginx -g 'daemon of…"   6 seconds ago    Up 4 seconds    0.0.0.0:80->80/tcp, :::80->80/tcp, 443/tcp                                                                                                 nginx
1b6793c54215   elasticsearch:7.4.2   "/usr/local/bin/dock…"   15 minutes ago   Up 15 minutes   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp                                                       elasticsearch-p
5a879124a74b   kibana:7.4.2          "/usr/local/bin/dumb…"   7 days ago       Up 20 minutes   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                                                                                  kibana
25a5439186fa   d445c0adc9a5          "docker-entrypoint.s…"   2 months ago     Up 20 minutes   4369/tcp, 5671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp, :::15672->15672/tcp, 0.0.0.0:5673->5672/tcp, :::5673->5672/tcp   rabbit
db61879bdaf3   redis                 "docker-entrypoint.s…"   4 months ago     Up 20 minutes   0.0.0.0:6379->6379/tcp, :::6379->6379/tcp                                                                                                  redis
8b875b01624e   mysql:5.7             "docker-entrypoint.s…"   4 months ago     Up 20 minutes   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                                                                       mysql
[root@localhost nginx]# ls
conf  html  logs
[root@localhost nginx]# cd html/
[root@localhost html]# ls
[root@localhost html]# vi index.html
[root@localhost html]# vi index.html
[root@localhost html]# vi index.html
[root@localhost html]# pwd
/mydata/nginx/html
[root@localhost html]# mkdir es
[root@localhost html]# ls
es  index.html
[root@localhost html]# cd es
[root@localhost es]# ls
[root@localhost es]# vi fenci.txt
[root@localhost es]# cat fenci.txt

 [root@localhost nginx]# docker images
REPOSITORY      TAG       IMAGE ID       CREATED       SIZE
redis           latest    7614ae9453d1   2 years ago   113MB
mysql           5.7       c20987f18b13   2 years ago   448MB
kibana          7.4.2     230d3ded1abc   4 years ago   1.1GB
elasticsearch   7.4.2     b1179d41a7b4   4 years ago   855MB
nginx           1.10      0346349a1a64   7 years ago   182MB
[root@localhost nginx]# cd ../
[root@localhost mydata]# mv nginx conf
[root@localhost mydata]# ls
conf  elasticsearch  mysql  redis
[root@localhost mydata]# mkdir nginx
[root@localhost mydata]# mv conf nginx/
[root@localhost mydata]# ls
elasticsearch  mysql  nginx  redis
[root@localhost mydata]# cd nginx/
[root@localhost nginx]# ls
conf
[root@localhost nginx]# docker run -p 80:80 --name nginx \
>   -v /mydata/nginx/html:/usr/share/nginx/html \
>   -v /mydata/nginx/logs:/var/log/nginx \
>   -v /mydata/nginx/conf:/etc/nginx \
>   -d nginx:1.10
4f19fab031f08f46c1444ff38452d41aed589422692085c2c8f3ce2110d52149
[root@localhost nginx]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED          STATUS          PORTS                                                                                                                                      NAMES
4f19fab031f0   nginx:1.10            "nginx -g 'daemon of…"   6 seconds ago    Up 4 seconds    0.0.0.0:80->80/tcp, :::80->80/tcp, 443/tcp                                                                                                 nginx
1b6793c54215   elasticsearch:7.4.2   "/usr/local/bin/dock…"   15 minutes ago   Up 15 minutes   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp                                                       elasticsearch-p
5a879124a74b   kibana:7.4.2          "/usr/local/bin/dumb…"   7 days ago       Up 20 minutes   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                                                                                  kibana
25a5439186fa   d445c0adc9a5          "docker-entrypoint.s…"   2 months ago     Up 20 minutes   4369/tcp, 5671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp, :::15672->15672/tcp, 0.0.0.0:5673->5672/tcp, :::5673->5672/tcp   rabbit
db61879bdaf3   redis                 "docker-entrypoint.s…"   4 months ago     Up 20 minutes   0.0.0.0:6379->6379/tcp, :::6379->6379/tcp                                                                                                  redis
8b875b01624e   mysql:5.7             "docker-entrypoint.s…"   4 months ago     Up 20 minutes   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                                                                       mysql
[root@localhost nginx]# ls
conf  html  logs
[root@localhost nginx]# cd html/
[root@localhost html]# ls
[root@localhost html]# vi index.html
[root@localhost html]# vi index.html
[root@localhost html]# vi index.html
[root@localhost html]# pwd
/mydata/nginx/html
[root@localhost html]# mkdir es
[root@localhost html]# ls
es  index.html
[root@localhost html]# cd es
[root@localhost es]# ls
[root@localhost es]# vi fenci.txt
[root@localhost es]# cat fenci.txt

旧约Alatus
关注
  • 17
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch7 分词器(内置分词器和自定义分词器)
white_while的博客
08-05 7739
文章目录Elasticsearch7 分词器(内置分词器和自定义分词器)analysis概览char_filterhtml_stripmappingpattern_replacefilterasciifoldinglengthlowercaseuppercasengramedge_ngramdecimal_digittokenizerWord Oriented TokenizersStandard...
elasticsearch-analysis-ik-8.1.3.zip
04-11
**Elasticsearch Analysis IK全文搜索分词器** Elasticsearch-analysis-ik是针对Elasticsearch设计的一款强大的中文分词插件。它旨在提供一个灵活、高效且可扩展的中文分词解决方案，使得在Elasticsearch中进行全文...
ElasticSearch-IK分词器安装及自定义词库
q983752531的博客
02-15 2245
1. 架构选型 docker + nginx + elasticsearch + ik分词器 2. ik分词器安装 注意点：ik分词器要与elasticsearch同一个版本（这里选的7.4.2） 下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases 安装： 将下载的文件解压并保存到elasticsearch（自行安装）中的plugins目录，并重启elasticsearch。 elasticsearch安装
Elasticsearch安装IK分词器、配置自定义分词词库
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-09 3909
借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理，再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法：单字分词，二分法分词，词库分词。
day74-ElasticSearch-分词- 自定义扩展词库
JavaCoder_juejue的博客
12-21 398
1.为了nginx容器配置，执行如下代码，若没有nginx容器会从远程拉取 docker run -p 80:80 --name nginx \ -v /mydata/nginx/html:/usr/share/nginx/html \ -v /mydata/nginx/logs:/var/log/nginx \ -v /mydata/nginx/conf/:/etc//nginx \ -d nginx:1.10 POST _analyze 2.如下内存不太够，调大点 virtualbo..
安装elasticsearch-analysis-ik中文分词器的步骤讲解
08-26
安装elasticsearch-analysis-ik中文分词器的步骤包括下载和解压分词器、将分词器文件移动到Elasticsearch插件目录中等。 1. 下载ik分词器 ik分词器的下载地址是...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-7.17.10-x86-64已安装插件 ik分词器、head、ingest-attachment
02-04
总的来说，Elasticsearch 7.17.10-x86_64预装的ik分词器、head插件和ingest-attachment插件，为用户提供了全面的文本处理、可视化管理和二进制内容检索能力，极大地丰富了Elasticsearch在中文环境和非结构化数据处理...
elasticsearch-analysis-ik-6.3.0 elasticsearch- 6.3.0 分词jar包
09-24
同时，还需要在Elasticsearch的配置文件`elasticsearch.yml`中进行相应的配置，例如启用IK分词器。 此外，压缩包中的"nlp-lang-1.7.jar"可能包含了一些自然语言处理的基础库，比如对字符集的支持和一些基本的文本...
【人工智能】助力音乐产业
最新发布
欢迎拜读我的作品，喜欢的领域请给我留言
08-12 774
其中最引人注目的案例是一群艺术家对 OpenAI 提起的诉讼，他们声称人工智能生成的音乐侵犯了他们的版权材料。在不久的将来，我们可以看到人类与人工智能伙伴之间的实时协作、更复杂的作曲工具以及增强的听众个性化。一些艺术家和唱片公司也以类似的方式使用 ToneDen 等 AI 驱动的工具来自动化和优化社交媒体广告，以吸引最容易接受的受众。人工智能在音乐行业最早的应用之一是音乐创作和制作的实验系统。通过使用 AI，他们最喜欢的音乐流媒体平台可以为他们提供量身定制的播放列表和建议，因为该技术了解听众的喜好。
使用 Python 制作一个属于自己的 AI 搜索引擎
weixin_46376562的博客
08-03 2267
使用Google和Bing的搜索结果交由OpenAI处理并给出回答。
什么是前端微服务，有何优势
力软低代码 - 快速开发平台，助力简单开发！
08-09 896
前端微服务作为一种新兴的架构模式，通过将前端应用分解为多个独立的子应用，解决了传统前端架构中的许多问题。其显著的优势包括提高开发效率、增强可维护性、支持技术异构、灵活的部署策略等。
微服务部分面试问题（面试篇）
GD2604279407的博客
08-07 1085
TCC模式的每个阶段是做什么的？Try：资源检查和预留Confirm：业务执行和提交Cancel：预留资源的释放TCC的优点是什么？一阶段完成直接提交事务，释放数据库资源，性能好相比AT模型，无需生成快照，无需使用全局锁，性能最强不依赖数据库事务，而是依赖补偿操作，可以用于非事务型数据库TCC的缺点是什么？有代码侵入，需要人为编写try、Confirm和Cancel接口，太麻烦软状态，事务是最终一致需要考虑Confirm和Cancel的失败情况，做好幂等处理、事务悬挂和空回滚处理。
微服务-分布式事务-seata
qq_59099003的博客
08-10 1195
seata分布式事务
本地http://localhost/端口 通过本地服务，远程调用同一网络下的另一台主机的微服务方法
Rui_bbm的博客
08-08 657
这里我安装了一个api插件，用于测试接口使用，这里我可以直接复制接口的路径，通过浏览器访问本地接口，然后通过远程掉用服务访问B主机的方法，得到返回值。我使用的spring-cloud框架，在spring-cloud框架中进行操作，我是有一个单独的Remote模块用于远程调用，在这里。这里所有流程基本结束，然后在浏览器中访问路径即可，可以看见我已经获取到B主机响应的数据。第一步：需要添加url路径，这个url是B主机的本地ip地址，注意加上端口号。
JDBC详细使用
m0_73627305的博客
08-09 514
​ JDBC是一种标准,一种规则,主要作用是使用java语言操作数据库的​ JDBC这个标准中有很多的接口,接口中有很多方法。
SpringBoot依赖之Quartz Scheduler定时调度器使用MySQL存储Job
ahauedu的专栏
08-07 688
接上一篇。本篇将在 Spring Boot 项目中，使用 Quartz Scheduler 结合 MySQL 数据库来存储 Job。
seatunnel2.3.3在centos7上安装
鑫哥
08-09 866
安装前需要准备点环境，因为seatunnel是基于java开发的，因此需要先安装java，我这里使用的java1.8，可以网上搜索下java安装教程，记得配置JAVA_HOME环境变量。在安装的过程中需要用到mysql命令，因此也需要安装下MySQL环境，这里也不具体讲解了，在网上搜索安装就行。接下来就是正式安装seatunnel了，
Elasticsearch入门到实践：探索elastic-job运行机制
7. **API与配置**：Elastic-Job提供了丰富的API和配置选项，允许开发者自定义作业的执行周期、并发策略、异常处理等。 8. **Elastic-Job-Lite**：适用于微服务架构，依赖Zookeeper或Redis实现分布式调度，无需依赖...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值