二、ElasticSearch6 安装中文分词器（IK Analysis）

最新推荐文章于 2024-05-15 14:06:45 发布
最新推荐文章于 2024-05-15 14:06:45 发布
阅读量990 收藏 1
点赞数
分类专栏： ELK

 

2018年06月06日 13:46:29

阅读数：192

通过前一篇的安装后：ElasticSearch6.2.4 安装OK了 我们继续安装IK分词器

一、安装

    以下是版本对照表（GitHub地址）： 

IK versionES version
master6.x -> master
6.2.46.2.4
6.1.36.1.3
5.6.85.6.8
5.5.35.5.3
5.4.35.4.3
5.3.35.3.3
5.2.25.2.2
5.1.25.1.2
1.10.62.4.6
1.9.52.3.5
1.8.12.2.1
1.7.02.1.1
1.5.02.0.0
1.2.61.0.0
1.2.50.90.x
1.1.30.20.x
1.0.00.16.2 -> 0.19.0

  1、离线安装：

   (1、)如下地址下载最新包（自行检查对应版本号）

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.4/elasticsearch-analysis-ik-6.2.4.zip

   (2、)解压到es安装目录下

 

  1. [payment@localhost elasticsearch-6.2.4]$ cd plugins/

  2. [payment@localhost plugins]$ pwd

  3. /home/payment/elasticSearch/elasticsearch-6.2.4/plugins

  4. [payment@localhost plugins]$ unzip elasticsearch-analysis-ik-6.2.4.zip

   2、在线安装（推荐）：

 

  1. [payment@gameServer elasticsearch-6.2.4]$ pwd

  2. /home/payment/elasticSearch/elasticsearch-6.2.4

  3. [payment@gameServer elasticsearch-6.2.4]$

  4. [payment@gameServer elasticsearch-6.2.4]$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.4/elasticsearch-analysis-ik-6.2.4.zip

  5. -> Downloading https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.4/elasticsearch-analysis-ik-6.2.4.zip

  6. [=================================================] 100%  

  7. -> Installed analysis-ik

  8. [payment@gameServer elasticsearch-6.2.4]$

 二、重启ElasticSearch服务

    1、停止服务：

 

  1. [payment@gameServer elasticsearch-6.2.4]$ ps -ef|grep elasticsearch

  2. payment 27352 1 0 10:50 pts/0 00:00:39 /usr/local/java/jdk1.8.0_161//bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch.oFTj99LA -XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Des.path.home=/home/payment/elasticSearch/elasticsearch-6.2.4 -Des.path.conf=/home/payment/elasticSearch/elasticsearch-6.2.4/config -cp /home/payment/elasticSearch/elasticsearch-6.2.4/lib/* org.elasticsearch.bootstrap.Elasticsearch -d

  3. payment 29017 26594 0 13:10 pts/0 00:00:00 grep elasticsearch

  4. [payment@gameServer elasticsearch-6.2.4]$

  5. [payment@gameServer elasticsearch-6.2.4]$

  6. [payment@gameServer elasticsearch-6.2.4]$ kill -9 27352

    2、启动ElasticSearch 

 

  1. [payment@gameServer elasticsearch-6.2.4]$ pwd

  2. /home/payment/elasticSearch/elasticsearch-6.2.4

  3. [payment@gameServer elasticsearch-6.2.4]$ ./bin/elasticsearch -d && tail -f logs/elasticsearch.log

  4. [2018-06-06T13:12:28,029][INFO ][o.e.d.DiscoveryModule ] [SdEluaQ] using discovery type [zen]

  5. [2018-06-06T13:12:28,536][INFO ][o.e.n.Node ] initialized

  6. [2018-06-06T13:12:28,536][INFO ][o.e.n.Node ] [SdEluaQ] starting ...

  7. [2018-06-06T13:12:28,711][INFO ][o.e.t.TransportService ] [SdEluaQ] publish_address {172.17.63.15:9300}, bound_addresses {172.17.63.15:9300}

  8. [2018-06-06T13:12:28,721][INFO ][o.e.b.BootstrapChecks ] [SdEluaQ] bound or publishing to a non-loopback address, enforcing bootstrap checks

  9. [2018-06-06T13:12:31,765][INFO ][o.e.c.s.MasterService ] [SdEluaQ] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{IYnq99tLTjKcjGSXoxTS5w}{172.17.63.15}{172.17.63.15:9300}

  10. [2018-06-06T13:12:31,769][INFO ][o.e.c.s.ClusterApplierService] [SdEluaQ] new_master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{IYnq99tLTjKcjGSXoxTS5w}{172.17.63.15}{172.17.63.15:9300}, reason: apply cluster state (from master [master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{IYnq99tLTjKcjGSXoxTS5w}{172.17.63.15}{172.17.63.15:9300} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])

  11. [2018-06-06T13:12:31,782][INFO ][o.e.h.n.Netty4HttpServerTransport] [SdEluaQ] publish_address {172.17.63.15:9200}, bound_addresses {172.17.63.15:9200}

  12. [2018-06-06T13:12:31,782][INFO ][o.e.n.Node ] [SdEluaQ] started

  13. [2018-06-06T13:12:31,921][INFO ][o.e.g.GatewayService ] [SdEluaQ] recovered [0] indices into cluster_state

  14. [2018-06-06T13:13:42,980][INFO ][o.e.n.Node ] [] initializing ...

  15. [2018-06-06T13:13:43,141][INFO ][o.e.e.NodeEnvironment ] [SdEluaQ] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [402.8gb], net total_space [442.7gb], types [rootfs]

  16. [2018-06-06T13:13:43,141][INFO ][o.e.e.NodeEnvironment ] [SdEluaQ] heap size [990.7mb], compressed ordinary object pointers [true]

  17. [2018-06-06T13:13:43,143][INFO ][o.e.n.Node ] node name [SdEluaQ] derived from node ID [SdEluaQkTfi1p-yRtlxHSA]; set [node.name] to override

  18. [2018-06-06T13:13:43,143][INFO ][o.e.n.Node ] version[6.2.4], pid[29196], build[ccec39f/2018-04-12T20:37:28.497551Z], OS[Linux/2.6.32-696.28.1.el6.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_161/25.161-b12]

  19. [2018-06-06T13:13:43,143][INFO ][o.e.n.Node ] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/tmp/elasticsearch.vXQsyXAG, -XX:+HeapDumpOnOutOfMemoryError, -XX:+PrintGCDetails, -XX:+PrintGCDateStamps, -XX:+PrintTenuringDistribution, -XX:+PrintGCApplicationStoppedTime, -Xloggc:logs/gc.log, -XX:+UseGCLogFileRotation, -XX:NumberOfGCLogFiles=32, -XX:GCLogFileSize=64m, -Des.path.home=/home/payment/elasticSearch/elasticsearch-6.2.4, -Des.path.conf=/home/payment/elasticSearch/elasticsearch-6.2.4/config]

  20. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [aggs-matrix-stats]

  21. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [analysis-common]

  22. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [ingest-common]

  23. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [lang-expression]

  24. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [lang-mustache]

  25. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [lang-painless]

  26. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [mapper-extras]

  27. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [parent-join]

  28. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [percolator]

  29. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [rank-eval]

  30. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [reindex]

  31. [2018-06-06T13:13:43,782][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [repository-url]

  32. [2018-06-06T13:13:43,783][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [transport-netty4]

  33. [2018-06-06T13:13:43,783][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded module [tribe]

  34. [2018-06-06T13:13:43,783][INFO ][o.e.p.PluginsService ] [SdEluaQ] loaded plugin [analysis-ik]

  35. [2018-06-06T13:13:46,137][INFO ][o.e.d.DiscoveryModule ] [SdEluaQ] using discovery type [zen]

  36. [2018-06-06T13:13:46,605][INFO ][o.e.n.Node ] initialized

  37. [2018-06-06T13:13:46,605][INFO ][o.e.n.Node ] [SdEluaQ] starting ...

  38. [2018-06-06T13:13:46,770][INFO ][o.e.t.TransportService ] [SdEluaQ] publish_address {172.17.63.15:9300}, bound_addresses {172.17.63.15:9300}

  39. [2018-06-06T13:13:46,778][INFO ][o.e.b.BootstrapChecks ] [SdEluaQ] bound or publishing to a non-loopback address, enforcing bootstrap checks

  40. [2018-06-06T13:13:49,828][INFO ][o.e.c.s.MasterService ] [SdEluaQ] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{OJnGIoaBRDaK0mBJRTarMQ}{172.17.63.15}{172.17.63.15:9300}

  41. [2018-06-06T13:13:49,835][INFO ][o.e.c.s.ClusterApplierService] [SdEluaQ] new_master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{OJnGIoaBRDaK0mBJRTarMQ}{172.17.63.15}{172.17.63.15:9300}, reason: apply cluster state (from master [master {SdEluaQ}{SdEluaQkTfi1p-yRtlxHSA}{OJnGIoaBRDaK0mBJRTarMQ}{172.17.63.15}{172.17.63.15:9300} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])

  42. [2018-06-06T13:13:49,853][INFO ][o.e.h.n.Netty4HttpServerTransport] [SdEluaQ] publish_address {172.17.63.15:9200}, bound_addresses {172.17.63.15:9200}

  43. [2018-06-06T13:13:49,861][INFO ][o.e.n.Node ] [SdEluaQ] started

  44. [2018-06-06T13:13:49,973][INFO ][o.e.g.GatewayService ] [SdEluaQ] recovered [0] indices into cluster_state

启动并监听启动日志：   看到：加载了 分词插件 

loaded plugin [analysis-ik]

三、检查分词器

   检查分词：

 

  1. [root@gameServer ~]# curl -XGET http://172.17.63.15:9200/_analyze?pretty -H 'Content-Type:application/json' -d'

  2. {

  3. "analyzer": "ik_smart",

  4. "text": "听说看这篇博客的哥们最帅、姑娘最美"

  5. }'

  6. {

  7. "tokens" : [

  8. {

  9. "token" : "听说",

  10. "start_offset" : 0,

  11. "end_offset" : 2,

  12. "type" : "CN_WORD",

  13. "position" : 0

  14. },

  15. {

  16. "token" : "看",

  17. "start_offset" : 2,

  18. "end_offset" : 3,

  19. "type" : "CN_CHAR",

  20. "position" : 1

  21. },

  22. {

  23. "token" : "这篇",

  24. "start_offset" : 3,

  25. "end_offset" : 5,

  26. "type" : "CN_WORD",

  27. "position" : 2

  28. },

  29. {

  30. "token" : "博客",

  31. "start_offset" : 5,

  32. "end_offset" : 7,

  33. "type" : "CN_WORD",

  34. "position" : 3

  35. },

  36. {

  37. "token" : "的",

  38. "start_offset" : 7,

  39. "end_offset" : 8,

  40. "type" : "CN_CHAR",

  41. "position" : 4

  42. },

  43. {

  44. "token" : "哥们",

  45. "start_offset" : 8,

  46. "end_offset" : 10,

  47. "type" : "CN_WORD",

  48. "position" : 5

  49. },

  50. {

  51. "token" : "最",

  52. "start_offset" : 10,

  53. "end_offset" : 11,

  54. "type" : "CN_CHAR",

  55. "position" : 6

  56. },

  57. {

  58. "token" : "帅",

  59. "start_offset" : 11,

  60. "end_offset" : 12,

  61. "type" : "CN_CHAR",

  62. "position" : 7

  63. },

  64. {

  65. "token" : "姑娘",

  66. "start_offset" : 13,

  67. "end_offset" : 15,

  68. "type" : "CN_WORD",

  69. "position" : 8

  70. },

  71. {

  72. "token" : "最美",

  73. "start_offset" : 15,

  74. "end_offset" : 17,

  75. "type" : "CN_WORD",

  76. "position" : 9

  77. }

  78. ]

  79. }

解释(来源GitHub)：

ik_max_word 和 ik_smart 什么区别?
ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；
ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lu1005287365/article/details/80593443

文章标签： ElasticSearch6

个人分类： ElasticSearch6

所属专栏： ElasticSearch6.x 学习

王树民
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch安装中文分词插件IK Analysis
再现理想
06-01 372
本篇笔记记录了ElasticSearch安装中文分词插件IK Analysis，测试分词和测试搜索的过程 相关笔记： CentOS6.9使用RPM包安装ElasticSearch CentOS6.9安装ElasticSearch 安装IK 方法1：下载预编译包 wget -c https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.0/elasticsearch-analysis-ik-6.6.0.zip 创建.
Elasticsearch的开源中文分词器 IK Analysis.zip
07-19
IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中...
elasticsearch-analysis-ik分词器-6.6.0 亲测可用.zip
03-08
elasticsearch-analysis-ik分词器-6.6.0 亲测可用.zip
elasticsearch 6.2.4 安装 elasticsearch-analysis-ik 分词器 (windows 10下)
weixin_30667649的博客
03-03 386
访问 https://github.com/medcl/elasticsearch-analysis-ik 找 releases 找到对应的 es 版本下载 elasticsearch-analysis-ik-6.3.0.zip ，D:\Develop\elasticsearch-6.2.4为我的es 安装目录① D:\Develop\elasticsearch-6.2.4\plu...
大数据最全【ElasticSearch】中文分词器_es中文分词器，最终入职阿里
最新发布
2401_84166327的博客
05-15 507
目前中文分词器比较常用的有：smartcn和ik两种， 下面分别介绍这两种分词器。smartcn是目前ES官方推荐的中文分词插件，不过目前不支持自定义词库。安装完成后，。smartcn的分词器名字就叫做：smartcnsmartcn中文分词效果ik支持自定义扩展词库，有时候分词的结果不满足我们业务需要，需要根据业务设置专门的词库，词库的作用就是自定义一批关键词，分词的时候优先根据词库设置的关键词分割内容，例如：词库中包含 “上海大学” 关键词，如果对“上海大学在哪里？
elasticsearch-analysis-ik-6.6.0.zip
01-05
elasticsearch-analysis-ik-6.6.0.zip,对应elasticsearch-6.6.0.tar.gz 版本
elasticsearch6.x设置分词mapping
weixin_33737774的博客
05-03 461
2019独角兽企业重金招聘Python工程师标准>>> ...
安装elasticsearch-analysis-ik中文分词器的步骤讲解
08-26
安装elasticsearch-analysis-ik中文分词器的步骤讲解 IK中文分词器是一款中文的分词插件，支持自定义词库。安装elasticsearch-analysis-ik中文分词器的步骤包括下载和解压分词器、将分词器文件移动到Elasticsearch...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
Elasticsearch-analysis-ik 是一个专为 Elasticsearch 设计的中文分词插件，它基于 Lucene 的 IK 分词器，旨在提供高效、准确的中文分词能力。 **IK 分词器介绍** IK (Intelligent Chinese Analyzer) 是一个针对...
elasticsearch-analysis-ik-6.8.2.zip
01-15
IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算 法的中文分词组件。新版本的IK Analyzer 3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提 供了对Lucene的默认优化实现。 采用了特有的“正向迭代最细粒度切分算法“，具有80万字/秒的高速处理能力 采用了多子处理器分析模式，支 持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇 （姓名、地名处理）等分词处理。 优化的词典存储，更小的内存占用
elasticsearch-analysis-ik-6.0.0.zip
11-28
elasticsearch6.0.0,ik插件 maven已经打好包，直接使用即可。
elasticsearch-analysis-ik-6.2.4.zip
10-09
elasticsearch-analysis-ik-6.2.4.zip 插件，elasticsearch-analysis-ik-6.2.4.zip 插件，elasticsearch-analysis-ik-6.2.4.zip 插件
windows安装ElasticSearch6.6.0和head插件，ik6.6.0插件
langqingj的博客
02-27 331
Windows 上安装 ElasticSearch：https://www.elastic.co/downloads/past-releases 选择版本后点击download，再点击windows下载   解压后，进入“elasticsearch-6.6.0\bin”，双击“elasticsearch.bat”，启动elasticsearch 启动后，浏览器浏览：http:/...
ElasticSearch中文IK分词器6.8.3
05-02
ElasticSearch6.8.3中文IK分词，官网下载比较慢，放到这里，压缩包下载后，在plugins目录下新建目录Ik,然后把压缩包复制到ik目录下解压，解压后重启ElasticSearch，如果没有报错就是安装成功啦
elasticsearch-analysis-ik-6.2.4.zip和elasticsearch-analysis-ik-master.zip
03-12
elasticsearch-analysis-ik-6.2.4.zip和elasticsearch-analysis-ik-master.zip
ElasticSearch安装中文分词器IK
05-19
要在Elasticsearch中安装中文分词器IK，请按照以下步骤操作： 1.确保您的Elasticsearch版本与IK分词器版本兼容。您可以在IK分词器的GitHub页面上查看兼容性信息。 2.下载IK分词器插件。您可以在IK分词器的GitHub...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值