ElasticSearch

吉sf

已于 2024-08-03 22:34:21 修改

阅读量929

点赞数

分类专栏：笔记数据库搜索引擎文章标签： elasticsearch

于 2021-12-22 22:02:22 首次发布

本文链接：https://blog.csdn.net/Boxing_Champion/article/details/122096097

版权

笔记同时被 3 个专栏收录

22 篇文章 0 订阅

订阅专栏

数据库

5 篇文章 0 订阅

订阅专栏

搜索引擎

1 篇文章 0 订阅

订阅专栏

全文检索

通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数。用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了

倒排索引

倒排索引也叫反向索引，通俗来讲正向索引是通过key找value，反向索引则是通过value找key。

Elasticsearch分别为每个field都建立了一个倒排索引，倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。

Elasticsearch中的核心概念

索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

映射 mapping

ElasticSearch中的映射（Mapping）用来定义一个文档 mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

字段 Field

相当于是数据表的字段|列

字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

文档 document

一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON（Javascript Object Notation）格式来表示；

集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能

节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何 Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

分片 shards

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10 亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢，为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片当创建一个索引的时候，可以指定你想要的分片的数量，每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。

分片很重要，主要有两方面的原因：1、允许水平分割/扩展你的内容容量，2、允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量，至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由 Elasticsearch管理的，对于作为用户来说，这些都是透明的

副本 replicas

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本。

副本之所以重要，有两个主要原因：1、在分片/节点失败的情况下，提供了高可用性。注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。2、扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行每个索引可以被分成多个分片。一个索引有0个或者多个副本，一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量

文档类型

字符串：string，string类型包含 text 和 keyword。

text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。

keyword：该类型不能分词，可以被用来检索过滤、排序和聚合，keyword类型不可用text进行分词模糊检索。

数值型：long、integer、short、byte、double、float

日期型：date

布尔型：boolean

查询DSL

无条件查询
GET /test_db/_doc/_search
{
  "query":{
    "match_all":{}
  }
}
有条件查询

叶子条件查询

单字段精确匹配

term : 单个条件相等
POST /test_db/_doc/_search
{
  "query": {
    "term": {
      "name": "admin"
    }
  }
}
terms : 单个字段属于某个值数组内的值

range : 字段属于某个范围内的值

        gte 大于等于

        lte 小于等于

        gt 大于

        lt 小于

        now 当前时间
POST /test_db/_doc/_search
{
  "query":{
    "range":{
      "age":{
        "gte":25,
        "lte":28
      }
    }
  }
}
exists : 某个字段的值是否存在

ids : 通过ID批量查询

单字段模糊匹配

match : 通过match关键词模糊匹配条件内容

query : 指定匹配的值
POST /test_db/_doc/_search
{
  "from": 0,
  "size": 10,
  "query":{
    "match":{
      "address": "广州"
    }
  }
}
        operator : 匹配条件类型

                and : 条件分词后都要匹配

                or : 条件分词后有一个匹配即可(默认)
GET /test_db/_search
{
  "query": {
    "match": {
      "remark": {
        "query": "java developer",
        "operator": "and"
      }
    }
  }
}
minmum_should_match : 指定最小匹配的数量
GET /test_db/_search
{
  "query": {
    "match": {
      "remark": {
        "query": "java architect assistant",
        "minimum_should_match": "68%"
      }
    }
  }
}
GET /es_db/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "remark": "java"
          }
        },
        {
          "match": {
            "remark": "developer"
          }
        },
        {
          "match": {
            "remark": "assistant"
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}
prefix : 前缀匹配

regexp : 通过正则表达式来匹配数据

多字段模糊匹配查询multi_match
POST /test_db/_doc/_search
{
  "query":{
    "multi_match":{
      "query":"张三",
      "fields":["address","name"]
    }
  }
}
未指定字段条件查询 query_string
POST /test_db/_doc/_search
{
  "query": {
    "query_string": {
      "query": "广州 OR 长沙"
    }
  }
}
指定字段条件查询 query_string
POST /test_db/_doc/_search
{
  "query":{
    "query_string": {
      "query": "张 OR 长沙",
      "fields": ["name","address"]
    }
  }
}
指定字段条件查询 match_phrase

会对输入做分词，但是需要结果中也包含所有的分词，而且顺序要求一样，且相邻。
POST /test_db/_doc/_search
{
  "query":{
    "match_phrase": {
      "address": "广州天河"
    }
  }
}
分页、输出字段、排序综合查询
POST /test_db/_doc/_search 
{ 
  "query": { 
    "range": { 
      "age": { 
        "gte":25, 
        "lte":28 
      }
    }
  },
  "from": 0,
  "size": 2,
  "_source": ["name", "age", "book"],
  "sort": {"age":"desc"}
}
组合条件查询

基于boost权重控制
GET /es_db/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "remark": "java"
          }
        }
      ],
      "should": [
        {
          "match": {
            "remark": {
              "query": "developer",
              "boost": 1
            }
          }
        },
        {
          "match": {
            "remark": {
              "query": "architect",
              "boost": 3
            }
          }
        }
      ]
    }
  }
}
连接查询

高亮显示

highlight中的field，必须跟query中的field一一对齐的
GET /test_db/_doc/_search
{
  "query": {
    "match": {
      "remark": "java"
    }
  },
  "highlight": {
    "fields": {
      "remark": {}
    }
  }
}

乐观锁并发控制

ES新版本不使用version进行并发版本控制，而是使用 if_seq_no=版本值 & if_primary_term=文档位置

_seq_no：

_seq_no：文档版本号，作用同_version

if_seq_no 和 if_primary_term 是用来并发控制，他们和version不同， version属于当个文档，而seq_no属于整个index。

_primary_term：

_primary_term：文档所在位置

_primary_term表示文档所在主分片的编号，每当Primary Shard发生重新分配时，比如重启，Primary选举等，_primary_term会递增1。

primary_term主要是用来恢复数据时处理当多个文档的_seq_no一样时的冲突，比如当一个 shard宕机了，raplica需要用到最新的数据，就会根据_primary_term和_seq_no这两个值来拿到最新的document