Elastic Certified Engineer复习记录-复习题详解篇-索引数据（2）

最新推荐文章于 2022-10-19 23:05:23 发布
最新推荐文章于 2022-10-19 23:05:23 发布
阅读量300 收藏
点赞数
分类专栏： ECE考试 开发基础 程序人生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40601534/article/details/113993435
版权

MAPPINGS AND TEXT ANALYSIS

索引和文档的分析（分词）

GOAL: Model relational data

目标：规整带关系的数据模型

REQUIRED SETUP:

初始化步骤
建议docker-compose文件：1e1k_base_cluster.yml

  1. a running Elasticsearch cluster with at least one node and a Kibana instance,
    1. 运行一个至少有1个节点的ES集群，以及1个kibana节点
  2. the cluster has no index with name hamlet,
    1. 保证这个集群里没有叫hamlet的索引
  3. the cluster has no template that applies to indices starting by `hamlet
    1. 保证这个集群里没有能匹配以hamlet开头的索引模板
    DELETE hamlet_*
DELETE _template/hamlet_*

第1题，对象（object）型数据

  1. Create the index hamlet_1 with one primary shard and no replicas
    1. 创建一个包含1分片0副本的索引hamlet_1
  2. Add some documents to hamlet_1 by running the following command
    1. 用下面的命令给hamlet_插入一些数据
  3. Verify that the items of the relationship array cannot be searched independently - e.g., searching for a friend named Gertrude will return 1 hit
    1. 校验一下relationship字段数组里的元素不能被独立搜索，比如搜索"name": "Gertrude"而且"type": "friend"的数据有一个返回
    PUT hamlet_1/_doc/_bulk
{"index":{"_index":"hamlet_1","_id":"C0"}}
{"name":"HAMLET","relationship":[{"name":"HORATIO","type":"friend"},{"name":"GERTRUDE","type":"mother"}]}
{"index":{"_index":"hamlet_1","_id":"C1"}}
{"name":"KING CLAUDIUS","relationship":[{"name":"HAMLET","type":"nephew"}]}

第1题，题解

  1. 创建索引

    PUT hamlet_1
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  }
}

  2. 插数据，运行上面的命令，过程略。数据结构：GET hamlet_1

    {
  "hamlet_1" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "relationship" : {
          "properties" : {
            "name" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "type" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "creation_date" : "1606270886689",
        "number_of_shards" : "1",
        "number_of_replicas" : "0",
        "uuid" : "BaWwDy_eSaKPaynt8rWW3g",
        "version" : {
          "created" : "7020199"
        },
        "provided_name" : "hamlet_1"
      }
    }
  }
}

  3. 校验数据

    POST hamlet_1/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "relationship.type": "friend"
          }
        },
        {
          "match": {
            "relationship.name": "Gertrude"
          }
        }
      ]
    }
  }
}
    • 返回值
    {
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.2199391,
    "hits" : [
      {
        "_index" : "hamlet_1",
        "_type" : "_doc",
        "_id" : "C0",
        "_score" : 1.2199391,
        "_source" : {
          "name" : "HAMLET",
          "relationship" : [
            {
              "name" : "HORATIO",
              "type" : "friend"
            },
            {
              "name" : "GERTRUDE",
              "type" : "mother"
            }
          ]
        }
      }
    ]
  }
}

第1题，题解说明

  • 这题主要考察object型的数据，对ES来说所有的字段都支持数组，所以relationship这个数组里可以保存多个object型的数据。
    • 在没指定数据结构的时候，ES会尝试按数据的结构匹配合理的索引结构，像relationship这种带嵌套结构的数据会默认被解析成object型的数据
    • object型的数据是一个类似 map 结构的数据，可以通过里面的key进行检索，但是它和nested型数据的区别在于，列表中的所有对象会被当作一个整体来搜索，而nested型数据的每个对象中的字段可以分别进行搜索
    1. 参考链接
    2. 页面路径：Mapping =》 Field datatypes =》 Object

第2题，嵌套（nested）型数据

  1. Create the index hamlet_2 with one primary shard and no replicas
    1. 创建一个含有1分片0副本的索引hamlet_2
  2. Define a mapping for the default type “_doc” of hamlet_2, so that the inner objects of the relationship field
    1. 给hamlet_2的type是默认的"_doc"，同时它的字段需要满足以下条件
    2. can be searched independently,
      1. 字段可以被独立搜索
    3. have only unanalyzed fields
      1. 只有没分词的字段
  3. Reindex hamlet_1 to hamlet_2
    1. 把hamlet_1 reindex 到 hamlet_2里面
  4. Verify that the items of the relationship array can now be searched independently - e.g., searching for a friend named Gertrude will return no hits
    1. 校验一下relationship数组里的元素可以被独立搜索，比如，搜索"type": "friend" 而且 "name":"Gertrude"的数据没有返回

第2题，题解

  1. 创建索引
    PUT hamlet_2
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "relationship": {
        "type": "nested"
      }
    }
  }
}
  2. reindex
POST _reindex
{
  "source": {
    "index": "hamlet_1"
  },
  "dest": {
    "index": "hamlet_2"
  }
}
  1. 校验数据

    1. 直接请求

      POST hamlet_2/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "relationship.type": "friend"
          }
        },
        {
          "match": {
            "relationship.name": "Gertrude"
          }
        }
      ]
    }
  }
}
      • 返回值
      {
  "took" : 7,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }
}

    2. 嵌套检索

      POST hamlet_2/_search
{
  "query": {
    "nested": {
      "path": "relationship",
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "relationship.type": "friend"
              }
            },
            {
              "match": {
                "relationship.name": "Gertrude"
              }
            }
          ]
        }
      }
    }
  }
}
      • 返回值
      {
  "took" : 178,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }
}

第2题，题解说明

  • 这题主要考察嵌套（nested）类型数据，它和对象（object）型数据的区别在于nested型数据可以通过指定路径（path）的方式对指定层/位置的数据进行分别的检索
    1. 参考链接-nested-datatype
    2. 页面路径：Mapping =》 Field datatypes =》 Nested

第3题，父子文档（parent-join)

  1. Add more documents to hamlet_2 by running the following command
    1. 用下面命令给hamlet_2多塞点数据
    POST _bulk
{"index":{"_index":"hamlet_2", "_id":"LO"}}
{"line_number":"1.4.1","speaker":"HAMLET","text_entry":"The air bites shrewdly; it is very cold."}
{"index":{"_index":"hamlet_2","_id":"L1"}}
{"line_number":"1.4.2","speaker":"HORATIO","text_entry":"It is a nipping and an eager air."}
{"index":{"_index":"hamlet_2","_id":"L2"}}
{"line_number":"1.4.3","speaker":"HAMLET","text_entry":"What hour now?"}
  2. Create the index hamlet_3 with only one primary shard and no replicas
    1. 创建一个1分片0副本的索引hamlet_3
  3. Copy the mapping of hamlet_2 into hamlet_3, but also add a join field to define a relation between a character (the parent) and a line (the child). The name of such field is “character_or_line”
    1. 把hamlet_2的索引结构拷贝到hamlet_3里，同时添加一个名叫character_or_line的join字段来描述character（父文档）和line（子文档）的关系，
  4. Reindex hamlet_2 to hamlet_3
    1. 把hamlet_2 reindex 到 hamlet_3里面
  5. Create a script named init_lines and save it into the cluster state. The script:
    1. has a parameter named characterId,
    2. adds the field character_or_line to the document,
    3. sets the value of character_or_line.name to “line” ,
    4. sets the value of character_or_line.parent to the value of the characterId parameter
  6. Update the document with id C0 (i.e., the character document of Hamlet) by adding the field character_or_line and setting its character_or_line.name value to “character”
  7. Update the documents in hamlet_3 that have “HAMLET” as a speaker, by running the init_lines script with characterId set to “C0”

第3题，题解

  1. 添加数据，略。
  2. 创建索引
    PUT hamlet_3
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "character_or_line": {
        "type": "join",
        "relations": {
          "character": "line"
        }
      }
    }
  }
}
  3. reindex
    POST _reindex
{
  "source": {
    "index": "hamlet_2"
  },
  "dest": {
    "index": "hamlet_3"
  }
}
  4. 创建script
    PUT _ingest/pipeline/character_update_pipeline
{
  "description": "set the 'character_or_linne', 'character_or_line.name', 'character_or_line.parent'",
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": """
          ctx.character_or_line = new HashMap(); 
          ctx.character_or_line.name = "line";
          ctx.character_or_line.parent = params.characterId;
          """,
          "params": {
            "characterId": "C0"
          }
      }
    }
  ]
}
  5. （由于join field需要routing配置）添加新数据
    POST hamlet_3/_doc/C2?routing=C0
{
  "line_number": "1.2.1",
  "speaker": "KING CLAUDIUS",
  "text_entry": "Though yet of Hamlet our dear brothers death"
}
  6. 套用刚才的script定点更新
    POST hamlet_3/_update_by_query?routing=C0&pipeline=character_update_pipeline
{
  "query":{
    "term":{
      "_id":"C2"
    }
  }
}
    1. 这里如果不加routing的设置直接进行更新，可能会报这个错：大意是对于父子关联的字段，routing是必须存在的。
      {
  "took": 10,
  "timed_out": false,
  "total": 1,
  "updated": 0,
  "deleted": 0,
  "batches": 1,
  "version_conflicts": 0,
  "noops": 0,
  "retries": {
    "bulk": 0,
    "search": 0
  },
  "throttled_millis": 0,
  "requests_per_second": -1,
  "throttled_until_millis": 0,
  "failures": [
    {
      "index": "hamlet_3",
      "type": "_doc",
      "id": "C2",
      "cause": {
        "type": "mapper_parsing_exception",
        "reason": "failed to parse",
        "caused_by": {
          "type": "illegal_argument_exception",
          "reason": "[routing] is missing for join field [character_or_line]"
        }
      },
      "status": 400
    }
  ]
}
  7. 校验数据：GET hamlet_3/_doc/C2
    • 返回值
    {
  "_index" : "hamlet_3",
  "_type" : "_doc",
  "_id" : "C2",
  "_version" : 4,
  "_seq_no" : 5,
  "_primary_term" : 1,
  "_routing" : "C0",
  "found" : true,
  "_source" : {
    "character_or_line" : {
      "parent" : "C0",
      "name" : "line"
    },
    "line_number" : "1.2.1",
    "text_entry" : "Though yet of Hamlet our dear brothers death",
    "speaker" : "KING CLAUDIUS"
  }
}

第3题，题解说明

  • 这题主要考察的是父子关联数据（parent join），reindex和_update_by_query
    • 关联数据可以代替部分关系型数据库的联表查询，但是毕竟是文档型数据存储，ES这部分的处理做的有些差强人意。
    • 在校验结果的部分主要关注的是原始文档里不存在character_or_line和_routing字段，在处理完之后会添上
    • reindex和_update_by_query其他章节已经讲过，这里略。
    1. 参考链接
    2. 页面路径：Mapping =》 Field datatypes =》 Join

第3题，拓展

@老杨 还提供了另一种题解方式，但是会存在一些问题，比如子文档需要指定routing，但是用 script 做 _update_by_query 的时候又不能直接更新这个属性。

  1. 创建script
    POST _scripts/character_update_script
{
  "script": {
    "lang": "painless",
    "source": """
      Map map = new HashMap();
      map.name = "line";
      map.parent = params.characterId;
      ctx._source.character_or_line = map;
    """
  }
}
  2. 创建指定routing用的pipeline
    PUT _ingest/pipeline/set_routing
{
  "description": "assign the routing attribute for doc",
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": "ctx._routing = 'C0'"
      }
    }
  ]
}
  3. 对文档进行定点更新
    POST hamlet_3/_update_by_query?pipeline=set_routing
{
  "query":{
    "term":{
      "_id":"C2"
    }
  },
  "script": {
    "id": "character_update_script",
    "params": {
      "characterId": "C0"
    }
  }
}
  4. 校验数据同上，略。
死敌wen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【ES实战】路由字段（_routing field）
coding and writing
11-29 1572
_routing field 使用以下公式将文档路由到索引中的特定分片： shard_num = hash(_routing) % num_primary_shards _routing 使用的默认值是文档的 _id 或文档的 _parent ID（如果存在）。 7.14版本开始使用以下公式： routing_factor = num_routing_shards / num_primary_shards shard_num = (hash(_routing) % num_routing_shards)
触类旁通Elasticsearch：关联
wzy0623的专栏
02-12 2049
目录 一、文档间关系概览 1. 对象类型 2. 嵌套类型 3. 父子关系 4. 反规范化 二、将对象最为字段值 1. 映射和索引对象 2. 搜索对象 三、嵌套类型 1. 映射并索引嵌套文档 2. 搜索和聚合嵌套文档 四、父子关系 1. 子文档的索引、更新和删除 2. 在父文档和子文档中搜索 五、反规范化 1. 反规范化使用案例 2. 索引、更新和删除反规范化的数据...
ES 之 Routing
Lyncai的专栏
09-03 2664
前言 当索引一个文档的时候，文档会被存储到一个主分片中。那么，elasticsearch如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不是随机的，否则在检索文档时就不知道该从哪去寻找它了。实际上这个过程是根据下面公式决定的： shard = hash(routing) % number_of_primary_shards routing是一个可变值，默认是文档的_id，也可以是自定义的值。hash函数将routing值哈希后生成一个数字，然后这个数字再除以number_..
elasticsearch Routing 路由详解
赵英超的博客
09-11 4804
前言 当索引一个文档的时候，文档会被存储到一个主分片中。那么，elasticsearch如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不是随机的，否则在检索文档时就不知道该从哪去寻找它了。实际上这个过程是根据下面公式决定的： shard = hash(routing) % number_of_primary_shards routing是一个可变值，默认是文档的_i...
Elasticsearch实践（二）在Springboot微服务中集成搜索服务
马猴烧酒└(┐卍^o^)卍ﾄﾞｩﾙﾙﾙ~楪詩月「YUZURIHA SHIZUKI」
11-23 3万+
关于如何用Docker搭建Elasticsearch集群环境可以参考前一篇：Elasticsearch实践（一）用Docker搭建Elasticsearch集群。本文主要介绍，如果在Springboot体系中集成Elasticsearch服务。本文基于:Elasticsearch版本是2.2.4,Springboot版本是1.5.3.RELEASE，spring-data-elasticsearch
Elastic-Certified-Engineer-Exam-Notes:弹性认证工程师考试笔记
04-16
该考试是动手练习，因此没有多项选择题。 您实际上需要了解它并能够走路。 ：D Elastic处于考试内容的最前面，带有很大的主题列表，您可以在下面看到。 因此，这使考生能够在接近考试中的水平上进行练习。 :face_...
elasticsearch-analysis-ik-8.11.0
11-27
2. 配置：在Elasticsearch的配置文件`elasticsearch.yml`中添加IK插件的配置，例如设置默认分词器、启用扩展词典等。 3. 启动：重启Elasticsearch服务以使配置生效。 4. 测试：通过Elasticsearch的API进行测试，...
elasticsearch-analysis-ik-7.15.2和7.14.0.zip
12-01
在给定的压缩包文件中，我们有两个版本，分别是 `elasticsearch-analysis-ik-7.15.2.zip` 和 `elasticsearch-analysis-ik-7.14.0.zip`，它们分别对应于Elasticsearch的7.15.2和7.14.0版本。 **Elasticsearch 分析...
elasticsearch-analysis-ik-8.1.3.zip
最新发布
04-11
**Elasticsearch Analysis IK全文搜索分词器** Elasticsearch-analysis-ik是针对Elasticsearch设计的一款强大的中文分词插件。它旨在提供一个灵活、高效且可扩展的中文分词解决方案，使得在Elasticsearch中进行全文...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
**Elasticsearch动态同义词插件详解** 在搜索引擎领域，同义词处理是一项重要的功能，它能够提高搜索结果的相关性和用户体验。Elasticsearch（ES）作为一款强大的全文搜索引擎，同样支持对同义词的处理。`elastic...
ElasticSearch 6.x 学习笔记：22.桶聚合
程裕强的专栏
01-19 6628
为了满足桶聚合多样性需求，修改文档如下。 DELETE my-index PUT my-index PUT my-index/persion/1 { "name":"张三", "age":27, "gender":"男", "salary":15000, "dep":"bigdata" } PUT my-index/persion/2 { "name":"李四"
Elasticsearch6.X 新类型Join深入详解
热门推荐
铭毅天下Elasticsearch
03-31 4万+
0、ES6.X 一对多、多对多的数据该如何存储和实现呢？ 引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？ 在ES6.X该如何存储、如何进行高效检索、聚合操作呢？ 相信阅读本文，你就能得到答案！ 1、ES6.X 新类型Join 产生背景 Mysql中多表关联，我们可以通过left join 或者Join等实现； ES5.X版本，借助父子文档实现多...
ES排序报错:Elasticsearch exception [type=illegal_argument_exception, reason=Text
weixin_62812758的博客
10-19 7421
对于需要每个文档字段数据(如聚合和排序)的操作，文本字段没有进行优化，因此这些操作在默认情况下是禁用的。请使用关键字字段代替。或者，在[createTime]上设置fielddata=true，以便通过反求倒排索引来加载字段数据。注意，这可能会使用有效内存。
error:Elasticsearch exception [type=illegal_argument_exception, reason=Limit of total fields [1000]
请叫我大师兄
12-04 1万+
ES里面的三个概念：“索引 index”，“类型 type”，“字段 field”，清楚的话，就大概知道啥意思了。 说的就是一个索引里面的fiedls（字段）的个数超过1000了，估计这个默认值是1000。 这个时候，调大这个值，就能处理这个问题啦。 上面的图就是 没有插件操作es的，就使用 curl 命令来处理这个问题吧。 curl -XPUT http://192.168.1.1...
信息检索导论(译)：第一章 布尔检索(1)
diebiaosang4496的博客
05-01 271
信息检索这个词的含义非常广。仅从钱包中取出信用卡，然后输入信用卡号也属于信息检索的范畴。然而，从学术角度来讲，信息检索定义如下： 信息检索即从大量非结构化文档集中找到满足需要的文档的过程。 按照如上定义，信息检索曾经是仅少数人如图书管理员，律师，专业搜索者参与的活动。而今非昔比，当今成千上万的人每天都会用搜索引擎搜索网页和邮件。信息检索正迅速取代传统的数据库搜索的方式，成为信息获取的主要...
Elasticsearch(024)：es常见的字段映射类型之 连接类型(join type)
瘦子没有夏天
04-06 2531
join type概述 出现的背景 引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？在ES6.X该如何存储、如何进行高效检索、聚合操作呢？ 1. ES6.X 新类型join产生背景 Mysql中多表关联，我们可以通过left join 或者Join等实现 ES5.X版本，借助父子文档实现多表关联，类似数据库中Join的功能；实现的核心是借助于ES5.X支持1个索引(index)...
Elasticsearch 一些异常报错、注意事项(1)
MTonj的博客
04-27 1万+
Elasticsearch 一些异常报错、注意事项(1)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值