elasticsearch安装中文分词(ik)与添加自定义词库

最新推荐文章于 2024-03-26 02:30:15 发布
最新推荐文章于 2024-03-26 02:30:15 发布
阅读量9.2k 收藏 9
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingover/article/details/79166375
版权

es的分词对中文不友好，要中文分词器插件，

安装ik服务 (记得改好版本号)

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.10/elasticsearch-analysis-ik-5.6.10.zip

如果服务器网络不行，则可直接下载后安装
安装及文件，请参考: https://github.com/medcl/elasticsearch-analysis-ik

安装完后要重启才能生效，如果有装好analysis-ik，启动日志会有[analysis-ik]：

[2018-01-25T08:31:51,816][INFO ][o.e.p.PluginsService     ] [master] loaded module [parent-join]
[2018-01-25T08:31:51,816][INFO ][o.e.p.PluginsService     ] [master] loaded module [percolator]
[2018-01-25T08:31:51,817][INFO ][o.e.p.PluginsService     ] [master] loaded module [reindex]
[2018-01-25T08:31:51,817][INFO ][o.e.p.PluginsService     ] [master] loaded module [transport-netty3]
[2018-01-25T08:31:51,817][INFO ][o.e.p.PluginsService     ] [master] loaded module [transport-netty4]
[2018-01-25T08:31:51,837][INFO ][o.e.p.PluginsService     ] [master] loaded plugin [analysis-ik]
[2018-01-25T08:32:00,010][INFO ][o.e.d.DiscoveryModule    ] [master] using discovery type [zen]

查看安装的插件:

GET /_cat/plugins?v&s=component&h=name,component,version,description

直接使用分词器

es默认的分词器有挺多，可以用以下几条请求对比下其分词情况 :

先队伍创建 一个索引
http://xxxxx:9200/es_ik

{
	"mappings": {
    "a_info": {
      "dynamic": "false",
      "_all": {
        "enabled": false
      },
      "properties": {
        "seqno": {
          "type": "text"
        },
        "title": {
          "type": "text",
          "index": "analyzed",
          "analyzer": "ik_smart",
          "search_analyzer": "ik_smart"
        },
        "price": {
          "type": "integer"
        },
        "buynum": {
          "type": "integer"
        },
        "confirm_time": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "update_time": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "description": {
          "type": "text",
          "index": "analyzed",
          "analyzer": "ik_smart",
          "search_analyzer": "ik_smart"
        }
      }
    }
  }
}

http://192.168.51.98:9200/es_ik/_analyze post方法

{
  "analyzer": "whitespace",
  "text":     "实际上，全球市值排名前七位的中美七家科技公司，除了亚马逊以外，全部都是百亿美元级别净利润企业."
}


{
  "analyzer": "standard",
  "text":     "实际上，全球市值排名前七位的中美七家科技公司，除了亚马逊以外，全部都是百亿美元级别净利润企业."
}


{
  "analyzer": "simple",
  "text":     "实际上，全球市值排名前七位的中美七家科技公司，除了亚马逊以外，全部都是百亿美元级别净利润企业."
}

上面这几种 默认的分词器显示出来都不太友好，大家可以自行尝试，
使用ik的分析器：

{
  "analyzer": "ik_smart",
  "text":     "实际上，全球市值排名前七位的中美七家科技公司，除了亚马逊以外，全部都是百亿美元级别净利润企业."
}

结果:

{
    "tokens": [
        {
            "token": "实际上",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "全球",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "市值",
            "start_offset": 6,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "排名",
            "start_offset": 8,
            "end_offset": 10,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "前",
            "start_offset": 10,
            "end_offset": 11,
            "type": "CN_CHAR",
            "position": 4
        },
        {
            "token": "七位",
            "start_offset": 11,
            "end_offset": 13,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "的",
            "start_offset": 13,
            "end_offset": 14,
            "type": "CN_CHAR",
            "position": 6
        },
        {
            "token": "中美",
            "start_offset": 14,
            "end_offset": 16,
            "type": "CN_WORD",
            "position": 7
        },
        {
            "token": "七家",
            "start_offset": 16,
            "end_offset": 18,
            "type": "TYPE_CQUAN",
            "position": 8
        },
        {
            "token": "科技",
            "start_offset": 18,
            "end_offset": 20,
            "type": "CN_WORD",
            "position": 9
        },
        {
            "token": "公司",
            "start_offset": 20,
            "end_offset": 22,
            "type": "CN_WORD",
            "position": 10
        },
        {
            "token": "除了",
            "start_offset": 23,
            "end_offset": 25,
            "type": "CN_WORD",
            "position": 11
        },
        {
            "token": "亚马逊",
            "start_offset": 25,
            "end_offset": 28,
            "type": "CN_WORD",
            "position": 12
        },
        {
            "token": "以外",
            "start_offset": 28,
            "end_offset": 30,
            "type": "CN_WORD",
            "position": 13
        },
        {
            "token": "全部都是",
            "start_offset": 31,
            "end_offset": 35,
            "type": "CN_WORD",
            "position": 14
        },
        {
            "token": "百亿",
            "start_offset": 35,
            "end_offset": 37,
            "type": "CN_WORD",
            "position": 15
        },
        {
            "token": "美元",
            "start_offset": 37,
            "end_offset": 39,
            "type": "CN_WORD",
            "position": 16
        },
        {
            "token": "级别",
            "start_offset": 39,
            "end_offset": 41,
            "type": "CN_WORD",
            "position": 17
        },
        {
            "token": "净利润",
            "start_offset": 41,
            "end_offset": 44,
            "type": "CN_WORD",
            "position": 18
        },
        {
            "token": "企业",
            "start_offset": 44,
            "end_offset": 46,
            "type": "CN_WORD",
            "position": 19
        }
    ]
}

参考：
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_testing_analyzers.html

配置ik 的扩展字典

有一些词,ik默认的词库不知道，会拆成多个字，如下，科比 会被拆成 科 和 比

{
  "analyzer": "ik_smart",
  "text":     "科比今天得了10分."
}

结果:

{
    "tokens": [
        {
            "token": "科",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "比",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "今天",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "得了",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "10分",
            "start_offset": 6,
            "end_offset": 9,
            "type": "TYPE_CQUAN",
            "position": 4
        }
    ]
}

找到相应配置
${es_home}/config/analysis-ik/IKAnalyzer.cfg.xml

新建一个dic 文件,vi ${es_home}/config/my.dic 里面填上 “科比” 即可,要多个名词，写成多行就行。

把my.dic 加到配置上

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">;
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict">my.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 -->
        <!-- <entry key="remote_ext_dict">words_location</entry> -->
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

索引数据及使用ik查看

我是使用postman工具来发请求到es服务的

删除索引

http://192.168.51.98:9200/es_ik delete方法

ik创建索引（含结构

http://192.168.51.98:9200/es_ik put方法
入参： user属性有name 且使用ik_smart索引,

{
    "mappings": {
        "user": {
            "properties": {
                "name": {
                    "type":"text",
                    "analyzer": "ik_smart",
                    "search_analyzer": "ik_smart"    
                }
            }
        }
    }
}
入数据

http://192.168.51.98:9200/es_ik/user post方法

加了四条数据,四次请求!

{
    "name": "举个例子，2017年腾讯和阿里都将成为百亿美元净利润公司，这是非常惊人的，远远超过中国所有的制造业企业。后面还有网易，百度等科技企业在紧紧追赶，另外还有个在向云转型的华为"
}
{
    "name": "正如一个行业在自由竞争会逐渐走向公司寡头化一样，我们的世界在自由竞争下，也会逐渐走向国家寡头化。这也是中国为什么力挺全球化，全球化有利于打破国与国的有形和无形边界，对超级大国有利"
}
{
    "name": "例如腾讯和阿里在今年净利润都将是百亿美元的情况下，腾讯上半年净利润增长高达43%，阿里2018年第一财季（今年4月-6月）不按美国通用会计准则计算净利润增速高达67%，第二财季更是高达71%，如果按照美国通用会计准则计算则增速更快"
}
{
    "name": "华为已经是世界第三大电子科技公司，根据华为2017年12月29日公布的新年贺词，2017年集团预计年收入超过6000亿元人民币，而2016年是5216亿元"
}
查询数据

http://192.168.51.98:9200/es_ik/user/_search

{
    "query" : { "match" : { "name" : "2017年集团预计 阿里" }},
    "highlight" : {
        "pre_tags" : ["<b>", "<tag2>"],
        "post_tags" : ["</b>", "</tag2>"],
        "fields" : {
            "name" : {}
        }
    }
}

结果 ：

{
    "took": 315,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 4,
        "max_score": 2.518611,
        "hits": [
            {
                "_index": "es_ik",
                "_type": "user",
                "_id": "AWEsBoy5WnxPV3c34PLx",
                "_score": 2.518611,
                "_source": {
                    "name": "华为已经是世界第三大电子科技公司，根据华为2017年12月29日公布的新年贺词，2017年集团预计年收入超过6000亿元人民币，而2016年是5216亿元"
                },
                "highlight": {
                    "name": [
                        "华为已经是世界第三大电子科技公司，根据华为<b>2017年</b>12月29日公布的新年贺词，<b>2017年</b><b>集团</b><b>预计</b>年收入超过6000亿元人民币，而2016年是5216亿元"
                    ]
                }
            },
            {
                "_index": "es_ik",
                "_type": "user",
                "_id": "AWEsBiJuWnxPV3c34PLu",
                "_score": 1.3313438,
                "_source": {
                    "name": "举个例子，2017年腾讯和阿里都将成为百亿美元净利润公司，这是非常惊人的，远远超过中国所有的制造业企业。后面还有网易，百度等科技企业在紧紧追赶，另外还有个在向云转型的华为"
                },
                "highlight": {
                    "name": [
                        "举个例子，<b>2017年</b>腾讯和<b>阿里</b>都将成为百亿美元净利润公司，这是非常惊人的，远远超过中国所有的制造业企业。后面还有网易，百度等科技企业在紧紧追赶，另外还有个在向云转型的华为"
                    ]
                }
            },
            {
                "_index": "es_ik",
                "_type": "user",
                "_id": "AWEsBmNKWnxPV3c34PLw",
                "_score": 0.37145406,
                "_source": {
                    "name": "例如腾讯和阿里在今年净利润都将是百亿美元的情况下，腾讯上半年净利润增长高达43%，阿里2018年第一财季（今年4月-6月）不按美国通用会计准则计算净利润增速高达67%，第二财季更是高达71%，如果按照美国通用会计准则计算则增速更快"
                },
                "highlight": {
                    "name": [
                        "例如腾讯和<b>阿里</b>在今年净利润都将是百亿美元的情况下，腾讯上半年净利润增长高达43%，<b>阿里</b>2018年第一财季（今年4月-6月）不按美国通用会计准则计算净利润增速高达67%，第二财季更是高达71%，如果按照美国通用会计准则计算则增速更快"
                    ]
                }
            },
            {
                "_index": "es_ik",
                "_type": "user",
                "_id": "AWEsBfmZWnxPV3c34PLt",
                "_score": 0.29413795,
                "_source": {
                    "name": "其他国家和中美差距太大，全球除了中美，经济增量最大的就是印度排世界第三，但是按照2016年的美元GDP不变价格不变汇率计算的话，印度2017年的经济增量只有全球大概6%左右。和中美不是一个量级，其他国家就更不用说了"
                },
                "highlight": {
                    "name": [
                        "其他国家和中美差距太大，全球除了中美，经济增量最大的就是印度排世界第三，但是按照2016年的美元GDP不变价格不变汇率计算的话，印度<b>2017年</b>的经济增量只有全球大概6%左右。和中美不是一个量级，其他国家就更不用说了"
                    ]
                }
            }
        ]
    }
}

安装 smartcn

官方那边经常使用smartcn 插件，没有用ik,
安装，安装后重启即可

es/elasticsearch-5.6.10/bin$ sh elasticsearch-plugin install analysis-smartcn

相应的使用

我们可以简单对比ik和smartcn 的结果，使用层面上，和ik是一样的.


GET _analyze
{"analyzer":"smartcn","text":"我是中国人"}  

# ik的对比
GET _analyze
{"analyzer":"ik_smart","text":"我是中国人"}
名明鸣冥
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IKAnalyzer如何自定义远端词库
坐忘峰
01-23 5893
IKAnalyzer1.3.4要自定义我们自己的词库，而且我们可以随时新增分词，网上查了一圈没有相关资料，看来只有自己搞定了。观察了下IKAnalyzer分词器的配置文件IKAnalyzer.cfg.xml发现其中有这样一个选项： ，而且作者做了注释说这个就是扩展远程词典的。于是打开IKAnalyzer的源码查看，最后在Dictronary这类下找到这个方法：getRemoteWords。经过查
Java——ikanalyzer分词·只用自定义词库
weixin_30902251的博客
03-05 1229
需要包：IKAnalyzer2012_FF_hf1.jarlucene-core-5.5.4.jar需要文件： IKAnalyzer.cfg.xmlext.dicstopword.dic 整理好的下载地址：http://download.csdn.net/detail/talkwah/9770635import java.io.IOException; import java.io.St...
elasticsearch安装和使用ik分词器，分享Java资深架构师的成长之路
最新发布
m0_55030688的博客
03-26 795
token”: “程”,},“token”: “师”,为了词项搜索能得到我们想要的结果，需要换一个分词器，理想的分词效果应该是"我们"、“是”、“软件”、“工程师”，ik分词器可以满足我们的要求，接下来开始实战；
ES IK自定义分词词库配置
热门推荐
刘延林
01-10 1万+
参考地址：https://blog.csdn.net/whb3299065/article/details/80104323 一、业务场景 在利用ik分词的过程中，当ik的分词规则不满足我们的需求了，这个时候就可以利用ik的自定义词库进行筛选，举个例子：当我要将“我是中国人，我想测试一下”这句话通过分词，将“我想测试一下”分为一个词的时候，就需要利用ik的自定义词库进行灌入指定的词。 ...
IK分词器使用自定义词库
cihongmo6452的博客
09-06 384
1、拷贝IKAnalyzer.cfg.xml到WEB-INF/classes下，拷贝IKAnalyzer2012FF_u1.jar到lib目录下，IKAnalyzer.cfg.xml内容如下：<?xml version="1.0" encoding="UTF-8"?><!DO...
八、使用IKAnalyzer自定义分词字典
jingqiang521的专栏
07-22 4797
文件下载 IKAnalyzer下载地址：https://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 这里我使用的是IK Analyzer 2012FF_hf1.zip这个包；因为我用的是solr4.x的； 解压、文件拷贝 下载之后用unzip解压，没有安装unzip童鞋安装下； 解
IK分词常用停止词库约1500个
01-23
IK分词常用停止词库约1500个 elasticsearch analysis ik分词器常用停止词库
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
0.常用热词词库的配置方式0.1 采用IK 内置词库优点：部署方便，不用额外指定其他词库位置缺点：分词单一化，不能指定想分词的词条0.2 IK 外置静态词库优点
a827871781#Java-notes#ES IK 自定义分词词库配置1
07-25
配置词库将custom 文件放入这个文件夹内修改 ik 的配置文件先备份一个配置cp IKAnalyzer.cfg.xml IKAnalyzer备份.cfg.x
elasticsearch-analysis-ik2.x增加连续数字字母英语智能分词、动态词库刷新支持elasticsearch2.x以上
03-22
elasticsearch-analysis-ik根据elasticsearch-analysis-ik2.2.0基础上修改，支持elasticsearch2.2.0（已测）。增加连续数字、字母、英语及其组合智能分词（ik_smart、ik_max_word、ik_indistinct、ik_smart_in...
[solr] - IKAnalyzer 扩展分词库
weixin_30467087的博客
10-14 118
在solr中加入自己的扩展分词库方法： 参考文章： http://www.cnblogs.com/dennisit/archive/2013/04/07/3005847.html 1、在solr的web中：\WEB-INF目录下新增一个文件夹：classes 2、新增一个文件：IKAnalyzer.cfg.xml <?xml version="1.0" ...
Elasticsearch配置ik中文分词器自定义词库
weixin_43749805的博客
11-05 1307
1.IK配置文件 在config目录下： IKAnalyzer.cfg.xml：配置自定义词库 main.dic：分词器自带的词库，索引会按照里面的词创建 quantifier.dic：存放计量单位词 suffix.dic：存放一些常用后缀 surname.dic：存放中文姓氏 stopword.dic：停用词词库，分词时直接忽略不创建索引 2.自定义词库 说说为什么要配置自定义词库吧，现在网...
Ikanalyzer分词器动态自定义词库的方法
fatpanda的专栏
07-17 4167
IKanalyzer可通过配置Ikanalyzer.cfg.xml进行自定义词库，但有时在程序中需要动态进行
ElasticSearch学习 ④ IK分词器(elasticsearch插件)+自定义字典
H&Q
02-03 694
ES默认的分词器把中文每个字看作一个词，比如说：“我爱喝水”会被划分为“我”，“爱”，“喝”，“水”。显然不是很符合要求，所以我们需要安装中文分词器ik来解决这个问题。从上面看，感觉分词都比较正常，但是大多数，分词都满足不了我们的想法，如下例：（金毛狮王是一个完整的词，不想让他乱分）根据默认拆分的结果，发现我们需要增加“金毛”和“金毛狮王”2个词条并删除“金”和“毛”2个词条。参照默认的dic文件，在config目录新建 my_ext.dic 和 my_stop.dic。分别是扩展和停用字典。
Elasticsearch (ES) 学习之路（三） IK 分词器安装与使用自定义词典
胖虎儿的博客
06-27 5560
Elasticsearch (ES) 学习之路三 IK 分词器安装与使用 IK分词器在是一款 基于词典和规则 的中文分词器,如果项目所做业务为国内业务 那么使用IK分词器 即可满足大部分 分词场景 IK 分词安装（Win） 解压上文中下载的IK 分词器压缩包 解压到 es 安装目录下的 plugins 下 新建 ik 目录 解压后 ，从起ES，查看是否读取插件 kibanna 中 使用 IK 分词器两种分词算法 ik_smart 最少切分算法 当前切分 算法为最少切分法 何为最少切分呢，即按照其
Elasticsearch 核心技术（七）：IK 中文分词器的安装、使用、自定义字典
水滴的博客
03-09 1786
IK 中文分词器是 Elasticsearch 的一个插件，它集成了 Lucene IK analyzer，支持自定义字典。
ES-IK分词器的概念和基本使用
jc15274630894的博客
04-21 4274
ES-IK分词器的概念和基本使用
elasticsearch安装ik分词器（多种安装方式）
我还可以
07-10 2561
elasticsearch安装ik分词器 es版本7.8.1，ik分词器最好与es版本对应，所以这里ik分词器的版本也是7.8.1； 7.8.1版本下载地址[点我](https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.8.1/elasticsearch-analysis-ik-7.8.1.zip)（防止出错，版本一定要和es版本一致）； - 本文分为Docker安装以及普通安装两种安装方式；...
es 使用ik停词_es-ik自定义词库步骤
05-13
下面是使用 Elasticsearch 中的 IK 分词器进行停词和自定义词库的步骤： 1. 安装 Elasticsearch 和 IK 分词器插件。 2. 创建自定义词库文件，格式如下： ``` # 单个词语 词语1 词语2 ... # 带有词性的词语 词语1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值