ElesticSearch IK中文分词使用详解

最新推荐文章于 2024-04-21 13:11:22 发布
最新推荐文章于 2024-04-21 13:11:22 发布
阅读量747 收藏 2
点赞数
分类专栏： 学习笔记

一、前言

对于ES IK分词插件在中文检索中非常常用，本人也使用了挺久的。但知识细节一直很碎片化，一直没有做详细的整理。过一段时间用的话，也是依然各种找资料，也因此会降低开发效率。所以在有空的时候好好整理下相关资料。也希望本文对使用 ElasticSearch 和 IK分词插件的开发者有所帮助。希望能少走点弯路。

本文包括前言、IK分词介绍、分词效果对比、自定义词典使用、索引设置和字段设置（Python 创建索引并导入数据）、查询测试（Python 查询）、结论等七个部分。

二、IK分词介绍

IK分词器插件的安装、测试、自定义词典的使用可直接参考。github上的资料：https://github.com/medcl/elasticsearch-analysis-ik 
这里注意三点： 
  1. 注意ElasticSearch和IK插件版本的对应。 
  2. 在ElasticSearch的配置文件config/elasticsearch.yml中的最后一行添加参数 index.analysis.analyzer.default.type: ik，则设置所有索引的默认分词器为ik分词(也可以不这么做，通过设置mapping来使用ik分词)。 
  3. 强调下IK分词器的两种分词模式。

ik_max_word: 会将文本做最细粒度的拆分，比如会将"中华人民共和国国歌"拆分为"中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌"，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将"中华人民共和国国歌"拆分为"中华人民共和国,国歌"。
  • 1
  • 2
  • 3

验证 IK 安装成功，并测试两种分词模式：

http://localhost:9200/_analyze/?analyzer=ik_smart&text=中华人民共和国国歌
  • 1

这里写图片描述

http://localhost:9200/_analyze/?analyzer=ik_max_word&text=中华人民共和国国歌
  • 1

这里写图片描述

三、分词效果对比

基于github上给的资料

1 创建2个索引ik_test和 ik_test_1

curl -XPUT http://localhost:9200/ik_test
curl -XPUT http://localhost:9200/ik_test_1
  • 1
  • 2

2 对 ik_test 索引设置mapping

curl -XPOST http://localhost:9200/ik_test/fulltext/_mapping -d'
{
    "fulltext": {
        "_all": {
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "term_vector": "no",
            "store": "false"
        },
        "properties": {
            "content": {
                "type": "string",
                "store": "no",
                "term_vector": "with_positions_offsets",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word",
                "include_in_all": "true",
                "boost": 8
            }
        }
    }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

3 对两个索引插入数据

curl -XPOST http://localhost:9200/ik_test/fulltext/1 -d'
{"content":"美国留给伊拉克的是个烂摊子吗"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/2 -d'
{"content":"公安部：各地校车将享最高路权"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/3 -d'
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/4 -d'
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}
'

curl -XPOST http://localhost:9200/ik_test_1/fulltext/1 -d'
{"content":"美国留给伊拉克的是个烂摊子吗"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/2 -d'
{"content":"公安部：各地校车将享最高路权"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/3 -d'
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/4 -d'
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}
'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

4 对两个索引分别搜索

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉矶领事馆" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

结果如下： 
这里写图片描述

curl -XPOST http://localhost:9200/ik_test_1/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉矶领事馆" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

结果如下： 
这里写图片描述

四、自定义词典使用

自定义词典使用，按照github上的说明配置词典。在 custom/mydict.dic 文件中增加 “洛杉矶领事馆” 一词，然后重启ES。自定义词典使用参考：https://github.com/medcl/elasticsearch-analysis-ik 
使用如下搜索：

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉矶领事馆" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

结果如下： 
这里写图片描述
从结果可见，貌似自定义词典没有起作用。是的、、、这里困扰我很久的，一直以为这功能有问题。后多次测试后发现，继续插入数据的话，对以后的数据是能正确分词的。

在修改自定义词典之后，插入第5条数据，content字段和第4条数据是一样的。

curl -XPOST http://localhost:9200/ik_test/fulltext/5 -d'
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}'
  • 1
  • 2

然后继续用上述的query 进行搜索。 
这里写图片描述
结果查到 _id =4 和 _id =5 的两条数据，其中 _id =5 就是我们想要的结果，_id =4 按理来说确实是我们想要的结果。但是结果结果却把”洛杉矶领事馆” 切成了两个词语。

猜测和 ES中存储以及match 搜索方式有关。 
“洛杉矶领事馆” 一词在 _id = 4的文档中存为：“洛杉矶”、“领事馆”、“洛”、“杉”、“矶”、“领事”、“馆” 等7个词语。 
“洛杉矶领事馆” 一词在 _id = 5的文档中存为：“洛杉矶领事馆”、“洛杉矶”、“领事馆”、“洛”、“杉”、“矶”、“领事”、“馆” 等8个词语。

分词结果如下：

http://localhost:9200/_analyze/?analyzer=ik_max_word&text=洛杉矶领事馆
  • 1

这里写图片描述

还有这里如果用 term 方式进行搜索。

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "term" : { "content" : "洛杉矶领事馆" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

这里写图片描述

结果只搜到了_id =5的文档。因此，这里验证了我的两个猜测： 
1. match 和 term 的搜索方式不同。参考：http://www.cnblogs.com/yjf512/p/4897294.html 
2. ES底层存储有关：不然的话用term搜索，应该把 _id =4 和_id=5全部搜索出来，这里之所以 _id=4没有搜出来是因为 _id=4 的底层在ES中的存储不包含“洛杉矶领事馆” 这整体一词。

五、索引设置和字段设置

这里主要是mapping得设置，可以使用IK给的 mapping 格式：

{
    "fulltext": {
        "_all": {
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "term_vector": "no",
            "store": "false"
        },
        "properties": {
            "content": {
                "type": "string",
                "store": "no",
                "term_vector": "with_positions_offsets",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word",
                "include_in_all": "true",
                "boost": 8
            }
        }
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

以上参数不详细说明，可参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html 
关于_all字段的介绍，可参考：http://blog.csdn.net/jiao_fuyou/article/details/49800969 
我使用的mapping和插入数据代码如下，这里设置不使用 _all字段搜索：

# -*- coding: utf-8 -*-

import elasticsearch


class ElasticSearchClient(object):
    @staticmethod
    def get_es_servers():
        es_servers = [{
            "host": "localhost",
            "port": "9200"
        }]
        es_client = elasticsearch.Elasticsearch(hosts=es_servers)
        return es_client


class LoadElasticSearch(object):
    def __init__(self):
        self.index = "hz"
        self.doc_type = "text"
        self.es_client = ElasticSearchClient.get_es_servers()
        self.set_mapping()

    def set_mapping(self):
        """
        设置mapping
        """
        chinese_field_config = {
            "type": "string",
            "store": "no",
            "term_vector": "with_positions_offsets",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "include_in_all": "true",
            "boost": 8
        }

        mapping = {
            self.doc_type: {
                "_all": {"enabled": False},

                "properties": {
                    "document_id": {
                        "type": "integer"
                    },
                    "content": chinese_field_config
                }
            }
        }

        if not self.es_client.indices.exists(index=self.index):
            # 创建Index和mapping
            self.es_client.indices.create(index=self.index, ignore=400)
            self.es_client.indices.put_mapping(index=self.index, doc_type=self.doc_type, body=mapping)

    def add_date(self, row_obj):
        """
        单条插入ES
        """
        _id = row_obj.get("_id", 1)
        row_obj.pop("_id")
        self.es_client.index(index=self.index, doc_type=self.doc_type, body=row_obj, id=_id)


if __name__ == '__main__':

    content_ls = [
        u"美国留给伊拉克的是个烂摊子吗",
        u"公安部：各地校车将享最高路权",
        u"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船",
        u"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
    ]

    load_es = LoadElasticSearch()
    # 插入单条数据测试
    for index, content in enumerate(content_ls):
        write_obj = {
            "_id": index,
            "document_id": index,
            "content": content
        }
        load_es.add_date(write_obj)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82

六、查询测试

# -*- coding: utf-8 -*-

import elasticsearch


class ElasticSearchClient(object):
    @staticmethod
    def get_es_servers():
        es_servers = [{
            "host": "localhost",
            "port": "9200"
        }]
        es_client = elasticsearch.Elasticsearch(hosts=es_servers)
        return es_client


class SearchData(object):
    index = 'hz'
    doc_type = 'text'

    @classmethod
    def search(cls, field, query, search_offset, search_size):
        # 设置查询条件
        es_search_options = cls.set_search_optional(field, query)
        # 发起检索。
        es_result = cls.get_search_result(es_search_options, search_offset, search_size)
        # 对每个结果, 进行封装。得到最终结果
        final_result = cls.get_highlight_result_list(es_result, field)
        return final_result

    @classmethod
    def get_highlight_result_list(cls, es_result, field):
        result_items = es_result['hits']['hits']
        final_result = []
        for item in result_items:
            item['_source'][field] = item['highlight'][field][0]
            final_result.append(item['_source'])
        return final_result

    @classmethod
    def get_search_result(cls, es_search_options, search_offset, search_size):
        es_result = ElasticSearchClient.get_es_servers().search(
            index=cls.index,
            doc_type=cls.doc_type,
            body=es_search_options,
            from_=search_offset,
            size=search_size
        )
        return es_result

    @classmethod
    def set_search_optional(cls, field, query):
        es_search_options = {
            "query": {
                "match": {
                    field: {
                        "query": query,
                        "slop": 10
                    }
                }
            },
            "highlight": {
                "fields": {
                    "*": {
                        "require_field_match": True,
                    }
                }
            }
        }
        return es_search_options


if __name__ == '__main__':
    final_results = SearchData().search("content", "中国", 0, 30)
    for obj in final_results:
        for k, v in obj.items():
            print k, ":", v
        print "======="
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78

输出结果：

七、结论

到此为止，ik分词相关的操作，都已经介绍完了。其他还有可能会使用到的功能就是基于IK的中文同义词处理的。参考这篇文章：http://blog.csdn.net/xsdxs/article/details/52806499 即可。

文中也实现了，搜索相关的功能。不过更加详细的内容，此文先不介绍了，下篇文章会对ElasticSearch 的搜索进行讲解和实现。

感谢阅读！

Tito10
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
elasticsearch-ik中文分词器7.6.2.zip
04-11
"elasticsearch-ik中文分词器7.6.2" 正是为了解决这个问题而设计的，它是专门为Elasticsearch 7.6.2版本定制的中文分词插件。 **IK分词器介绍** IK（Intelligent Chinese）分词器是为Java开发的一个成熟的中文分...
elasticsearch-7.0.0 版本 ik 中文分词器
08-20
**Elasticsearch 7.0.0 版本与 IK 中文分词器详解** Elasticsearch 是一款功能强大的开源搜索引擎，广泛应用于大数据分析、全文检索以及日志分析等领域。在处理中文文档时，为了实现精确的搜索和索引，我们需要使用...
Elasticsearch 中 analyzer/search_analyzer/ik_max_word/ik_smart 的使用
sinat_24928447的博客
10-12 7169
一、先说几个关键 属性 1，String 类，分为两种： text：可分词，不参与聚合 keyword：不可分词，数据会作为完整字段进行匹配，可参与聚合 2，Numberical 数值类型，分两类： 基本数据类型：long、integer、short、byte、double、float、half_float 浮点数高精度类型：scaled_float（需要制定精度因子，10或100这样，es会把真实值与之相乘后存储，取出时还原） 3，Date 日期类型 ES 可以对日期格式，化为字符串存储...
已饱和，未来程序员真没法再干了？_程序员干不了活(1)，HarmonyOS鸿蒙 基础面试
2401_84181501的博客
04-15 324
是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
Elasticsearch 使用中文分词_&quot；searchanalyzer = &quot；ik_smart&quot；(1)
最新发布
2301_79097795的博客
04-21 744
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！IK Analysis主要有两种类型的分词形式，分别是 ik_max_word 和 ik_smart。要使用 IK Analysis，需要在文档类里面，指定相应的分词器。需要注意的是，不管是哪种安装方式，相应的插件，要对应相应的 Elasticsearch 版本，否则可能会安装不成功。下图展示了使用了IK分词的标签效果。下图展示了 IK 的安装目录。
Elasticsearch使用ik分词器
知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;)
02-10 2487
分析器 什么是分词概念？分析器能使用到哪些场景？ 分词意思就是将词语进行分组切片；比如 你好啊 可能就会被分词 为 “你好” 和 “啊”； 在进行搜索时如果根据高亮匹配就会将 “你好” 或者 “啊” 所有匹配的标题内容都匹配出来； 分析器一般就是使用在搜索引擎上；比如百度搜索 mysql时间减7天 就会匹配到 mysql, 时间 ， 减 ， 7天相匹配的内容； 如下的词条经过不同的分析器会得到不同的词条： "Set the shape to semi-transparent by calling se
elasticsearch 基于ik分词器的分词查询和模糊匹配
朝立的博客
05-05 4092
将查询的内容分解，提取。例如 文档数据库 ，就会被分词器 分解为 文档 ，数据 ，数据库等 查询返回更加有广度。类似 mysql 语法中的 like ‘%value%’此处简单梳理一下最常用的查询。查询会将分词解析出的分词。根据具体字段精确查询内容。ES查询条件 分词查询。类似于百度的分词查询。
ES搜索框架--设置IK分词器
qq_51641196的博客
04-08 3400
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaXzw/一、安装官网教程：https://github.com/medcl/elasticsearc...
elasticsearch ik 7.4.2 分词器
05-07
以上配置后，当索引包含中文内容时，Elasticsearch会使用IK分词器进行分词，提高搜索和分析的准确度。 总的来说，Elasticsearch结合IK分词器，能有效解决中文处理的问题，提供强大的全文检索功能。在实际应用中，...
elasticsearch的ik中文分词器
11-04
**Elasticsearch与IK中文分词器** Elasticsearch（ES）是一款强大的开源搜索引擎，它基于Lucene构建，提供实时、分布式、可扩展的搜索和分析能力。在处理中文文档时，由于中文句子中词语之间没有明显的分隔符，因此...
ik分词器tar包 7.10.2
03-03
IK分词器是针对Elasticsearch（ES）的一款热门中文分词插件，其全称为“Intelligent Chinese Analyzer for Elasticsearch”。它由Java编写，旨在为中文文档提供高效、准确的分词处理。版本7.10.2是IK分词器的一个...
本地elasticsearch中文分词器 ik分词器安装及使用
aq_money的博客
04-29 9910
ElasticSearch 内置了分词器，如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好，不能按我们的语言习惯进行分词。ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词，并且支持用户配置自己的字典，所以它除了可以按通用的习惯分词外，我们还可以定制化分词。ik分词器是一个插件包，我们可以用插件的方式将它接入到ES。下载地址：ik分词器地址 注意要选择跟自己es保持一致的版本下载。 将下载的安装包在es安装目录下的plugins下新建一个ik文件夹、将文件解压
es--基础--05--集成IK分词器
zhou920786312的博客
12-29 2450
一、 标准分词存在的问题 1.1、 当前的数据 1.2、 标准分词器 1.3、 标准分词存在的问题 但是我们有"两头"的数据 1.4、 标准分词器分词效果测试 http://60.205.188.229:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员 { "tokens": [ { "token": "我", "start_offset": 0,
ES使用ik分词器查看分词结果及自定义词汇
beihenanfei的专栏
11-09 1178
找到es的IK插件位置：打开IKAnalyzer.cfg.xml文件添加自定义扩展文件--用户可以在这里配置自己的扩展字典 -->同时，在同级目录新建my.dic文件，加入自定义词汇，例如：1号线2号线.......保存，重启ES即可生效。注意：自定义的词库只有在使用ik_smart分词才会起作用。
ElasticSearch之IK分词器安装以及使用介绍
热门推荐
qq_39939541的博客
07-27 1万+
elasticsearch 默认的内置分词器对中文的分词效果可能并不理想，因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。它在中文文本的分词处理上表现出色，能够根据中文语言习惯进行精细的分词。IK 分词器允许用户自定义词典，可以添加新词、调整词频等，以便更好地适应特定的领域或需求。自定义词典可以提高分词的准确性和召回率。
Elasticsearch使用系列-ES增删查改基本操作+ik分词
she8656837的专栏
03-09 1483
可以看到“爱祖国”的分词结果为“爱，祖，国”，被拆分成了单个字，只要一个字匹配到就查出来，这样的结果很多不是我们想要的。这里说一下kibana执行的原理，kibana执行的是http请求，前面的PUT为请求方式，还有POST,GET等，后面的user是索引名称，因为kibana配置了es的信息，数值：long，integer，short，byte，double，float，half float，scaled float。这里的数据类型标红的是ES的重点类型，其它的和平时开发的类型一样，没什么特别。
搜索引擎ES--IK分词器
李嘉图呀李嘉图的博客
05-30 7641
集成IK分词器 概要：IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。新版本的IKAnalyzer3.0发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。 3.0特性： 1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。 2）采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
elasticsearch 使用 ik分词器
gyk163的博客
04-19 1028
elasticsearch 中文分词器 ik
elasticsearch学习（六）：IK分词器
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
ElasticSearch个人详细总结
03-20
elasticsearch安装部署 Head插件使用方法 集成IK分词器 ES Java API（5种连接方式：节点客户端，传输客户端，RestClient，Spring Data ElasticSearch，Jest）

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值