ElasticSearch——核心概念和IK分词器

最新推荐文章于 2024-05-05 02:20:51 发布

小王要认真！

最新推荐文章于 2024-05-05 02:20:51 发布

阅读量517

点赞数

文章标签： elasticsearch 分布式搜索引擎

本文链接：https://blog.csdn.net/qq_40474184/article/details/109753615

版权

ES概念详解

ES是一个基于Lucence的开源分布式搜索引擎
是个分布式、高扩展、高实时的搜索与数据分析引擎
基于RESTful web接口，Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业搜索引擎
可应用于海量数据的查询，比如双十一淘宝搜索；日志数据分析；实时数据分析

ES核心概念

索引（index）

ElasticSearch存储数据的地方，可以理解成关系型数据库中的数据库概念。

映射（mapping）
定义了每个字段的类型、字段所使用的分词器等。相当于关系型数据库中的表结构。
文档（document）

Elasticsearch中的最小数据单元，常以json格式显示。一个document相当于关系型数据库中的一行数据。
倒排索引

一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，对应一个包含它的文档id列表。
类型（type）

一种type就像一类表。如用户表、角色表等。在Elasticsearch7.X默认type为_doc

在数据库中查询存在的问题

性能低：使用模糊查询，左边有通配符，不会走索引，会全表扫描，性能低
功能弱：要是以词组作为条件，有时候就会查询失败
（比如在数据库中有华为全网通5g手机和苹果全网通4g手机，查询的时候输入华为手机就会查询失败）

在ES中使用的是倒排索引

倒排索引就是通过单个的字或者词组来推断出完整的一个语句。比如：
ES使用倒排索引对数据进行分词

脚本操作ES

restful风格

ST（Representation State Transfer），表述性状态转移，是一组架构约束条件和原则。满足这些约束条件的应用程序或设计就是restful，是一种定义接口的规范。
基于HTTP
使用XML格式定义或JSON格式定义数据
每一个URI代表一种资源
客户端使用GET、POST、PUT、DELETE四个表示操作方式的动词对服务端资源进行操作：

GET：用来获取资源
POST：用来新建和更新资源
PUT：用来更新资源
DELETE：用来删除资源

简单数据类型

字符串
聚合：相当于mysql中的sum（求和）
text：会分词，不支持聚合
keyword：不会分词，将全部内容作为一个
数值类型
布尔类型：boolean
二进制：binary
范围类型：integer_range, float_range, long_range, double_range, date_range
日期：date

复杂数据类型

数组：[] Nested:nested(数组类型的JSON对象)
对象：{}Object：object（单个JSON对象）

操作映射

创建一个名字叫goods的索引，有name，id两个映射关系，类型分别是text、integer

# 创建fruit索引
PUT fruit
# 创建映射
PUT fruit/_mapping
{
  "properties":{
     "name":{
       "type":"text"
     },
     "id":{
       "type":"integer"
     }
   }
}
# 获取fruit的映射关系
GET fruit/_mapping

创建索引并添加映射

# 创建索引并同时添加映射
 PUT /person
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "age": {
        "type": "integer"
      }
    }
  }
}

# 获取person的映射
GET person/_mapping

添加字段

#给person索引添加gender字段
PUT /person/_mapping
{
  "properties": {
      "gender": {
        "type": "text"
      }
    }
}

操作文档

添加文档，指定id

POST /person/_doc/1
{
  "name":"菠萝吹雪",
  "age":18,
  "gender":"花果山"
}

GET /person/_doc/1

添加文档不指定id

POST /person/_doc
{
  "name":"橙留香",
  "age":18,
  "gender":"花果山"
}
#查询所有文档
GET /person/_search

ik分词器使用

IK分词器有两种分词模式：ik_max_word和ik_smart模式。

1、ik_max_word

会将文本做最细粒度的拆分，比如会将“乒乓球明年总冠军”拆分为“乒乓球、乒乓、球、明年、总冠军、冠军。

#方式一ik_max_word
GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "乒乓球明年总冠军"
}

ik_max_word分词器执行如下：

{
  "tokens" : [
    {
      "token" : "乒乓球",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "乒乓",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "球",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "明年",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "总冠军",
      "start_offset" : 5,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "冠军",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

2、ik_smart
会做最粗粒度的拆分，比如会将“乒乓球明年总冠军”拆分为乒乓球、明年、总冠军。

#方式二ik_smart
GET /_analyze
{
  "analyzer": "ik_smart",
  "text": "乒乓球明年总冠军"
}

ik_smart分词器执行如下：

{
  "tokens" : [
    {
      "token" : "乒乓球",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "明年",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "总冠军",
      "start_offset" : 5,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

由此可见使用ik_smart可以将文本"text": "乒乓球明年总冠军"分成了【乒乓球】【明年】【总冠军】

这样看的话，这样的分词效果达到了我们的要求。

使用IK分词器-查询文档

•词条查询：term

词条查询不会分析查询条件，只有当词条和查询字符串完全匹配时才匹配搜索

•全文查询：match

全文查询会分析查询条件，先将查询条件进行分词，然后查询，求并集

1.创建索引，添加映射，并指定分词器为ik分词器

PUT person2
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "address": {
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

2.添加文档

POST /person2/_doc/1
{
  "name":"张三",
  "age":18,
  "address":"北京海淀区"
}

POST /person2/_doc/2
{
  "name":"李四",
  "age":18,
  "address":"北京朝阳区"
}

POST /person2/_doc/3
{
  "name":"王五",
  "age":18,
  "address":"北京昌平区"
}

3.查询映射

GET fruit

在这里插入图片描述

4.查看分词效果

GET _analyze
{
  "analyzer": "ik_max_word",
  "text": "北京海淀"
}

5.词条查询：term

查询person2中匹配到"北京"两字的词条

GET /person2/_search
{
  "query": {
    "term": {
      "address": {
        "value": "北京"
      }
    }
  }
}

6.全文查询：match