ElasticSearch学习笔记（分词器的介绍&使用）

最新推荐文章于 2024-05-15 05:59:27 发布
最新推荐文章于 2024-05-15 05:59:27 发布
阅读量1.3k 收藏 8
点赞数 1
文章标签： elasticsearch 搜索引擎 全文检索
原文链接：https://www.fgba.net/forum-56.html
版权

1）分词的概念

分词Search是一个构建于Lucene之上的优秀的分布式全文检索引擎（服务器），它是使用Java开发的，提供基于RESTful风格的Web服务接口。表面上我们只要将一段冗长的要检索的目标数据和一串关键字文本丢给它就完事了，事实上ES却不是直接使用完整的关键字文本在完整的目标数据中查找的，它们都要经过一个步骤：拆分成一个个单词、字或词组。

2）了解ES中的分词器（Analyzer）

ES中文本的拆分或者说分词是通过分词器完成的，ES中的分词器主要有standard（ES的默认分词器，将单词转成小写形式，去除标点符号，支持中文【单字分割】）、simple（通过非字母的字符分割文本，将单词转为小写形式，同时去除数字类型的字符）和whitespace（仅去除空格，不支持中文）。当然ES中的分词器不止这些，这里不再一一列举。

3）使用ES中的分词功能

为了直观的看到ES的分词情况，我们可以使用工具对ES发送一些分词请求，看看ES对不同文本的分词结果。

使用standard分词器

首先使用ES中的standard分词器，它也是ES中默认的分词器。我们可以发送一个URL为localhost:9200/_analyze的post请求，然后在请求体中填入如下JSON数据：

{
    "analyzer": "standard",
    "text": "I bought a computer，8761元"
}

解释：analyzer字段指定需要的分词器，这里我们使用的是standard分词器（支持中文，简单按字分词），它是支持中文分词的；text字段指定要拆分的文本，这里是"I bought a computer，8761元"；

执行结果如下，可以看到ES分词器为我们拆分成了六个最小词元（逗号被去掉了，同时所有的字母都转为小写），中文包含在内：

{
    "tokens": [
        {
            "token": "i",
            "start_offset": ,
            "end_offset": 1,
            "type": "<ALPHANUM>",
            "position": 
        },
        {
            "token": "bought",
            "start_offset": 2,
            "end_offset": 8,
            "type": "<ALPHANUM>",
            "position": 1
        },
        {
            "token": "a",
            "start_offset": 9,
            "end_offset": 10,
            "type": "<ALPHANUM>",
            "position": 2
        },
        {
            "token": "computer",
            "start_offset": 11,
            "end_offset": 19,
            "type": "<ALPHANUM>",
            "position": 3
        },
        {
            "token": "8761",
            "start_offset": 20,
            "end_offset": 24,
            "type": "<NUM>",
            "position": 4
        },
        {
            "token": "元",
            "start_offset": 24,
            "end_offset": 25,
            "type": "<IDEOGRAPHIC>",
            "position": 5
        }
    ]
}

使用simple分词器

同样的JSON数据，我们把analzer改成simple分词器：

{
    "analyzer": "simple",
    "text": "I bought a computer，8761元"
}

返回结果变成了五个词元，可以看到simple分词器也是支持中文分词的，但是注意标点符号与数字都被去除了，同时所有字母转小写：

{
    "tokens": [
        {
            "token": "i",
            "start_offset": ,
            "end_offset": 1,
            "type": "word",
            "position": 
        },
        {
            "token": "bought",
            "start_offset": 2,
            "end_offset": 8,
            "type": "word",
            "position": 1
        },
        {
            "token": "a",
            "start_offset": 9,
            "end_offset": 10,
            "type": "word",
            "position": 2
        },
        {
            "token": "computer",
            "start_offset": 11,
            "end_offset": 19,
            "type": "word",
            "position": 3
        },
        {
            "token": "元",
            "start_offset": 24,
            "end_offset": 25,
            "type": "word",
            "position": 4
        }
    ]
}

使用whitespace分词器

把analyzer值改为whitespace：

{
    "analyzer": "whitespace",
    "text": "I bought a computer，8761元"
}

whitespace分词器是通过空白符，包括空格、制表符等分割文本的，同时它不会对单词转小写，重要的是它不支持中文的分词，所以从返回结果中我们可以看到最后一个中文字没有被拆分，这里顺便提一下，这里我使用的是全角（中文）逗号，并不是逗号后面还有一个空格，因为不支持中文，自然也是不支持中文符号的：

{
    "tokens": [
        {
            "token": "I",
            "start_offset": ,
            "end_offset": 1,
            "type": "word",
            "position": 
        },
        {
            "token": "bought",
            "start_offset": 2,
            "end_offset": 8,
            "type": "word",
            "position": 1
        },
        {
            "token": "a",
            "start_offset": 9,
            "end_offset": 10,
            "type": "word",
            "position": 2
        },
        {
            "token": "computer，8761元",
            "start_offset": 11,
            "end_offset": 25,
            "type": "word",
            "position": 3
        }
    ]
}

4）ES默认中文分词的缺陷

上面我们提到了，standard是ES中的默认分词器，但是对于中文来说只是按字拆分的结果我们能够接受吗？能不能再进一步呢？英文单词可以按照一个个词汇拆分，这是没有任何问题的，拿上面的例子来说，“computer”这个单词专业的术语叫“计算机”，但是如果使用默认的分词器来拆分“计算机”，我们看一下结果：

请求体

{
    "analyzer": "standard",
    "text": "computer 计算机"
}

请求结果

{
    "tokens": [
        {
            "token": "computer",
            "start_offset": ,
            "end_offset": 8,
            "type": "<ALPHANUM>",
            "position": 
        },
        {
            "token": "计",
            "start_offset": 9,
            "end_offset": 10,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "算",
            "start_offset": 10,
            "end_offset": 11,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "机",
            "start_offset": 11,
            "end_offset": 12,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        }
    ]
}

通过英语单词"computer"我们可以知道一个具体的事物，但是被按字拆分的“计算机”我们已经无法准确知道它要表达什么了，如果它能够更智能一点能够知道“计算机”这三个字所表达的含义，在将这三个字拆分的同时，自动为我们额外保留这三个字为最小词元，结果是不是更好一些呢？

5）IK中文分词器的安装&使用

要解决上面的问题我们可以通过IK分词器做到，IK分词器是通过字典的方式去理解我们日常中一些特定的短语词汇从而为我们保留一些有意义的短语的。

安装

我ES的版本是7.3.2，那么要找的IK也是7.3.2。找到合适的版本下载压缩包文件后解压（我下载的是.zip结尾的源码文件，这里需要使用maven打包），进到解压的文件夹下，执行mvn package打包命令，出现错误Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:2.6:resources (default-resources) on project elasticsearch-analysis-ik: Cannot create resource output directory: /home/tiny/Downloads/programs/elasticsearch-analysis-ik/target/classes

mvn打包出现错误

执行命令sudo chown -R tiny:tiny ../elasticsearch-analysis-ik后再次执行mvn package，成功：

mvn打包成功

进到elasticsearch-analysis-ik/target/releases目录，使用命令sudo unzip elasticsearch-analysis-ik-7.0.0.zip解压，而后将解压出来的所有文件复制到ElasticSearch文件夹的plugins/ik（没有就新建）目录下，之后重启ES。

ik分词器放置目录

IK安装后导致ES无法启动

意料之外的是ES启动居然报错了，打印了一些日志，主要看框起的一行，大致是说：“IK是为ElasticSearch7.0.0构建的但是7.3.2版本的ElasticSearch正在运行”。如果你没看明白，回过头看看我们解压的文件elasticsearch-analysis-ik-7.0.0.zip也该知道了，确实是7.0.0版本！

安装ik后ES启动失败

这可能是7.3.2版本的一个BUG？我确实下载的是IK的7.3.2版本后打包编译的，但居然打包出一个7.0.0版本的IK文件。关于ES的版本问题，我尝试着到IK项目的pom.xml文件中查看ES的版本：

查看ik项目的pom文件

可以看到ES的版本标注的是7.0.0，我尝试着将pom文件中ES的版本改为7.3.2，保存退出，然后执行mvn clean package，出现错误：

mvn清理并打包出现错误

问题不大，我们手动将target目录删除，然后mvn package，执行成功了，可以看到版本已经是7.3.2：

打包成功

之后再按照之前的步骤解压并复制到ES下的plugins/ik目录（记得把二手手游账号买卖平台ik目录清空再复制），启动ES：

ES启动成功

终于成功了，太艰难了/(ㄒoㄒ)/~~

使用IK中文分词器

ES启动完成后我们来测试一下使用IK分词器分词，看看IK分词器是否安装成功了。同样请求URL还是localhost:9200/_analyze，请求方法还是post，对于各个分词器就不再赘述了，请通过示例自行感受！

ik_smart分词器

请求体

{
    "analyzer": "ik_smart",
    "text": "我买了一台计算机"
}

响应结果

{
    "tokens": [
        {
            "token": "我",
            "start_offset": ,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 
        },
        {
            "token": "买了",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "一台",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "计算机",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 3
        }
    ]
}

ik_max_word分词器

请求体

{
    "analyzer": "ik_max_word",
    "text": "我买了一台计算机"
}

响应结果

{
    "tokens": [
        {
            "token": "我",
            "start_offset": ,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 
        },
        {
            "token": "买了",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "一台",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "一",
            "start_offset": 3,
            "end_offset": 4,
            "type": "TYPE_CNUM",
            "position": 3
        },
        {
            "token": "台",
            "start_offset": 4,
            "end_offset": 5,
            "type": "COUNT",
            "position": 4
        },
        {
            "token": "计算机",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "计算",
            "start_offset": 5,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "算机",
            "start_offset": 6,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 7
        }
    ]
}

6）IK分词器为何如此智能

通过上面的示例我们也看到了，这种中文的分词效果是ES内置的分词器无法比拟的。那么它是如何做到的呢？不要过于惊讶，因为原理其实非常简单，它是通过索引字典来达到的，这样说可能比较抽象难懂，我们来实际看看ES的plugins/ik/config目录：

ik分词器的字典

看到那些*.dic结尾的文件了吗？其实它就是dictionary（字典）的简写，来实际看看字典内容：

ik分词器的字典内容

实际的词汇量是非常巨大的，根本不可能完全收录到字典中。如果有需要，我们完全可以通过在字典文件中增加我们想要的词语来扩展我们自己的分词规则。

7）如何在实际项目中使用分词器

上面我们通过HTTP的形式知道了ES是如何分词的，但是在实际项目中又该如何使用？有了Spring Boot，一切都变得非常简单，Spring Boot集成了众多框架，并对其繁琐的操作进行简化。要在Spring Boot项目中集成ES，我们只需要引入如下依赖：

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
 </dependency>

然后就可以在Java类中使用注解的方式定义：

@Data
// 指定实体类对应ES的索引名称为article，类型type是文档类型，使用服务器远程配置
// 为避免每次重启项目都将ES中的数据删除后再同步，createIndex指定为false
@Document(indexName = "article", type = "_doc",
        useServerConfiguration = true, createIndex = false)
public class ElasticArticle {
    @Id // org.springframework.data.annotation.Id
    private Integer id;          // 文章ID

    // 指定字段对应的ES类型是Text，analyzer指定分词器为ik_max_word
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String author;       // 文章作者

    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String title;        // 文章标题

    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String content;      // 文章正文内容

    // 指定字段对应ES中的类型是Date，使用自定义的日期格式化，pattern指定格式化
    // 规则是“日期时间”或“日期”或“时间毫秒”
    @Field(type = FieldType.Date, format = DateFormat.custom,
            pattern = "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis")
    private Date createTime;     // 文章创建时间

    @Field(type = FieldType.Date, format = DateFormat.custom,
            pattern = "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis")
    private Date updateTime;     // 文章更新时间
}

在与ES的交互方面，Spring Boot Data提供了ElasticsearchRepository数据访问接口，我们只需继承此接口便可实现与ES的大部分交互，就像使用Spring-Data-JPA一样简单！

iqifenxia
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES 分词
问道至简
11-21 7468
ES 分词器 内置分词器 扩展分词器 内置分词器 分词器 说明 Standard Analyzer 默认分词器 Simple Analyzer 简单分词器 Whitespace Analyzer 空格分词器 Stop Analyzer 删除停止词的分词器 is the Keyword Analyzer 不分词 Pattern Analyzer 正则分词器 Language Analyzers 多语言特定的分析工具 Fingerprint Analyzer 指纹
ElasticSearch--分词器--使用/教程/实例
IT利刃出鞘的博客
10-24 2931
原文网址： 简介 说明 官网 ik分词器：https://github.com/medcl/elasticsearch-analysis-ik 内置分词器 Elasticsearch之所以全文搜索很快，是因为采用了倒排索引，倒排索引的核心是分词。分词：把text格式的字段按照分词器进行分词并保存为索引。Elasticsearch已经提供了多种功能强大的内置分词器。 中文分词器 实例 ...
Elasticsearch分词及其自定义
最新发布
batman
05-15 1274
业务需求是这样的：有一个作者字段，比如Li，LeiLei；Han，MeiMei以及LeiLei Li……现在要对其进行精确匹配。对此，你有什么想法？你可能会考虑用自定义分词的方式，通过分号分词。但是这样的话，如果检索Li，LeiLei，那么LeiLei Li就不能被搜索到，而我们希望LeiLei Li也被搜索到。并且对于这种分词，Li，LeiLei中间不加逗号也不能匹配到。但是为什么在映射里面添加停用词也是无效的呢？
Elasticsearch中的分词器的基本介绍以及使用
gaoqiandr的博客
01-28 2574
本文主要介绍的是elasticsearch中分词器的基本使用
ES使用——分词器
jionli的博客
04-29 5864
文章目录前言一、analyzer介绍二、analyzer使用1.分词查看whitespace2.分词查看simple3.分词查看standard4.分词查看ik_max_word5.分词查看ik_smart三、注意事项总结 前言 提示：ES 宗旨 专注于搜索，ES也有内置的分词器，但是对于中文分词我们还是比较喜欢使用ik分词器，该文章主要讲述下关于分词器的使用 一、analyzer介绍 analyzer是mapping映射时候使用的，主要是text的属性，text在不设置analyzer的时候，默认使
2、Elasticsearch分词器简介与使用（一）
小确幸的博客
06-23 4567
介绍说明ES内置的几种分词器，以及第三方的中文分词器，以及如何使用它们。
ElasticSearch 学习笔记
01-20
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
elasticsearch学习笔记
03-22
Elasticsearch学习笔记 Elasticsearch(以下简称ES)是当前最流行的搜索引擎之一，本文旨在通过对ES的基本操作和查询语法的介绍，帮助读者快速入门和精通ES。 批量操作 ES提供了多种批量操作方式，包括通过GET _...
es:es学习笔记
03-04
&quot;es:es学习笔记&quot; 这个标题暗示了主题是关于 Elasticsearch (ES) 的学习笔记，Elasticsearch 是一个流行的、开源的全文搜索引擎，基于 Lucene 库，常用于大数据分析和实时搜索。描述中同样强调了 &quot;es:es学习笔记&quot;，...
ElasticSearch个人笔记【深入浅出，非常完整】.zip
05-21
这份个人笔记详细深入地介绍了Elasticsearch的核心概念和使用方法，旨在帮助读者全面理解和掌握这个强大的工具。 笔记首先会从基础入手，讲解Elasticsearch的基本架构。Elasticsearch是分布式的，由节点（Node）...
ES学习笔记.docx
04-28
Kibana 操作笔记 本笔记主要记录了 Kibana 的常用操作，涵盖了...本笔记涵盖了 Kibana 的常用操作，包括 CRUD 操作、批量操作和查询操作，同时也介绍了一些重要的 Elasticsearch 概念，如分词、命中次数和版本控制等。
ES分词器用法简述
epitomizelu的专栏
04-21 603
一，分词器char_filter POST _analyze { "char_filter": [ "html_strip" ], "tokenizer": "standard", "text": "&lt;i&gt; j am &lt;i/&gt;" } // character filter POST _analyze { "char_filter": [ "html_str...
5-Elasticsearch分词器
zx_1305769448的博客
03-10 299
Elasticsearch分词器
es如何使用拼音分词器
weixin_45815520的博客
03-14 696
"search_analyzer": "ik_smart"： 搜索时使用的分词器，如果不设置会使用“analyzer”设置的分词 器，都没设置则使用默认分词器。"analyzer": "i_analyzer"： 使用自定义分词器，如果未设置会使用默认分词器。注意在创建索引时使用拼音分词器，而在搜索时使用其他分词器，避免在搜索时发生同音不同字的搜索结果。filter 分词后的处理 用拼音分词处理。在创建索引库时，在settings中设置三部分。把下载到的拼音分词器放到es的配置目录下。
es 配置同义词 + 定义 tokenizer 使用逗号分词
weixin_39999637的博客
04-23 1651
es 配置同义词 + 定义 tokenizer 使用逗号分词 { "settings": { "index": { "number_of_shards": "5", "number_of_replicas": "1", "analysis": { "analyzer": { "ik_syno": { "tokenizer": "ik_sma...
ES设置文档设置逗号分词（通过postman）
cxyd4399的博客
11-15 1098
【代码】ES设置文档设置逗号分词（通过postman）
ES中如何使用逗号来分词
java的平凡之路
04-07 9011
使用软件版本：elasticsearch-2.2.0 1. setting: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 curl -XPOST 'http://localhost:9200/data' -d '{     "se
ElasticSearch系列——分词器
qq_51553982的博客
11-09 2618
扩展词典:就是有些词并不是关键词,但是也希望被ES用来作为检索的关键词,可以将这些词加入扩展词典。停用词典:就是有些词是关键词,但是出于业务场景不想使用这些关键词被检索到，可以将这些词放入停用词典。我们可以直接去文件中进行定义,你问我怎么知道的?人家README里写的。
Es7.x 获取分词结果
大佛拈花的博客
07-21 949
@SpringBootTest class DemoApplicationTests { @Autowired private RestHighLevelClient restHighLevelClient; @Test void contextLoads() throws IOException { String text="xxxxx"; AnalyzeRequest request=AnalyzeRequest.withIndexAnalyzer("mao", "ik-max-w.
elasticsearch ik分词器使用
10-20
Elasticsearch的IK分词器是一个功能强大、易于使用的中文分词器插件，可以显著改善Elasticsearch在中文文本上的分词效果。IK分词器通过细粒度的分词、多种分词模式、自定义词典等功能，能够更好地满足中文语境下的搜索需求。安装IK分词器的步骤包括下载IK分词器插件、安装插件并重启Elasticsearch服务。在使用IK分词器时，可以选择不同的分词模式，包括最细粒度分词、智能分词、搜索引擎分词等，以满足不同的需求。同时，IK分词器还支持自定义词典，可以根据具体的业务需求添加或删除词汇。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值