Elastic Certified Engineer复习记录-复习题详解篇-索引数据（2）

最新推荐文章于 2022-07-31 22:09:55 发布
最新推荐文章于 2022-07-31 22:09:55 发布
阅读量96 收藏
点赞数
分类专栏： ECE考试 开发基础 程序人生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40601534/article/details/111318547
版权

INDEX TEMPLATE

索引模板

GOAL: build index template and index some documents

目标：按要求创建索引模板并存入数据

建议docker-compose文件：1e1k_base_cluster.yml

第1题，按要求创建索引模板

  1. Create the index template hamlet_template, so that the template:
    1. 创建一个叫hamlet_template的索引模板，满足以下要求
    2. matches any index that starts by “hamlet_” or “hamlet-”,
      1. 能匹配索引名称以"hamlet_" 或者 “hamlet-” 开头的索引
    3. allocates one primary shard and no replicas for each matching index
      1. 每个满足条件的索引都有1分片0副本
  2. Create the indices hamlet2 and hamlet_test
    1. 创建索引hamlet2 和 hamlet_test
  3. Verify that only hamlet_test applies the settings defined in hamlet_template
    1. 校验一下只有hamlet_test能满足我们在hamlet_template中的设定

第1题，题解

  1. 创建索引模板
    PUT _teplate/hamlet_template
{
  "index_patterns": ["hamlet_*", "hamlet-"],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  }
}
  2. 创建索引
    PUT hamlet2
PUT hamlet_test
  3. 校验

    1. GET hamlet2

      {
  "hamlet2" : {
    "aliases" : { },
    "mappings" : { },
    "settings" : {
      "index" : {
        "creation_date" : "1605671989488",
        "number_of_shards" : "1",
        "number_of_replicas" : "1",
        "uuid" : "V1vwGlKwRgaVTKOqPDKr-A",
        "version" : {
          "created" : "7020199"
        },
        "provided_name" : "hamlet2"
      }
    }
  }
}

    2. GET hamlet_test

      {
  "hamlet_test" : {
    "aliases" : { },
    "mappings" : { },
    "settings" : {
      "index" : {
        "creation_date" : "1605671990921",
        "number_of_shards" : "1",
        "number_of_replicas" : "0",
        "uuid" : "IQWAOtrxSVCi9sns-K7vyw",
        "version" : {
          "created" : "7020199"
        },
        "provided_name" : "hamlet_test"
      }
    }
  }
}

第1题，题解说明

  • 这题主要考察索引模板的建立和索引模式匹配
    • 索引名模式匹配的key是带复数形式的，因为它的值是个数组index_patterns
    • 索引名的匹配是支持通配符的，所以一般我们会使用? 或者 * 来创建匹配模式
    1. 参考链接
    2. 页面路径：Indices APIs =》 Index Templates

第2题，通过索引模板设置mapping结构

  1. Update hamlet_template by defining a mapping for the type “_doc”, so that
    1. 更新索引模板hamlet_template，使它可以让_doc这type的mappping结构满足以下需求
    2. the type has three fields, named speaker, line_number, and text_entry
      1. 它有三个字段，分别叫speaker, line_number, 和 text_entry
    3. text_entry uses an “english” analyzer
      1. 其中text_entry字段使用“english”分词器
  2. Verify that the updates in hamlet_template did not apply to the existing indices
    1. 校验一下这个对hamlet_template的更新不会影响到已经存在的索引
  3. In one request, delete both hamlet2 and hamlet_test
    1. 在一个请求中删除hamlet2 和 hamlet_test 两个索引
  4. Create the index hamlet-1 and add some documents by running the following _bulk command
    1. 创建一个叫hamlet-1的索引并用下面的_bulk命令给他插入一些数据
      POST _bulk
{"index":{"_index":"hamlet-1","_id":0}}
{"line_number":"1.1.1","speaker":"BERNARDO","text_entry":"Whos there?"}
{"index":{"_index":"hamlet-1","_id":1}}
{"line_number":"1.1.2","speaker":"FRANCISCO","text_entry":"Nay, answer me: stand, and unfold yourself."}
{"index":{"_index":"hamlet-1","_id":2}}
{"line_number":"1.1.3","speaker":"BERNARDO","text_entry":"Long live the king!"}
{"index":{"_index":"hamlet-1","_id":3}}
{"line_number":"1.2.1","speaker":"KING CLAUDIUS","text_entry":"Though yet of Hamlet our dear brothers death"}
  5. Verify that the mapping of hamlet-1 is consistent with what defined in hamlet_template
    1. 校验一下hamlet-1的mapping结构是否满足hamlet_template的设定

第2题，题解

  1. 更新索引模板
    PUT _template/hamlet_template
{
  "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 0
  },
  "mappings": {
      "properties": {
        "text_entry": {
            "type": "text",
            "analyzer": "english"
        },
        "speaker": {
            "type": "text"
        },
        "line_number": {
            "type": "text"
        }
      }
  },
  "index_patterns": [
      "hamlet_*",
      "hamlet-*"
  ]
}
    1. 校验已有索引
      1. GET hamlet2
      2. GET hamlet_test
  2. 删除索引
    1. DELETE hamlet2,hamlet_test
  3. 创建索引插数据
    1. PUT hamlet-1
    2. 运行上面 ⬆️ 那些bulk命令
    3. 校验索引 GET hamlet-1
    4. 校验数据 POST hamlet-1/_search

第2题，题解说明

  • 这题主要考察的是索引模板在索引创建中的作用

    • 比较重要的是
      • index_patterns不要拼错，里面的索引匹配语句别写错
      • settings和mappings会在建立索引的时候直接作用在索引里
      • 多个index_patterns甚至多个索引模板的pattern可能会匹配到同一个索引上，这里可以通过order参数调整执行顺序，数字越小的越先执行，数字大的配置可能会覆盖/merge数字小的模板的配置
    1. 参考链接-index-template
    2. 页面路径-index-template：Indices APIs =》 Index Templates

  • 删除索引不是这题的重点，题目中提到要用一个命令来删掉两个索引，需要意的是：

    • 如果集群配置了不允许通配符执行的话action.destructive_requires_name: true就不能直接DELETE hamlet*来删索引了
    • 如果强行用DELETE hamlet*删索引的话，要确保这个匹配语句不会匹配到其他索引
      • 可以通过GET hamlet*命令先查看一下这个匹配语句能命中哪些索引
    1. 参考链接-delete-index，参考链接-destructive_requires_name
    2. 页面路径-delete-index：Indices APIs =》 Delete Index
    3. 页面路径-destructive_requires_name：Set up Elasticsearch =》 Configuring Elasticsearch =》 Index management settings （这条配置在7.2版没有具体页面，所以这里使用的是7.9版的网页）

第3题，动态模板

  1. Update hamlet_template so as to reject any document having a field that is not defined in the mapping
    1. 更新模板hamlet_template使它拒绝索引那些没被定义的字段
  2. Verify that you cannot index the following document in hamlet-1
    1. 校验一下你不能在hamlet-1里索引这个文档
      POST hamlet-1/_doc/99
{ 
  "author": "Shakespeare" 
}
  3. Update hamlet_template so as to enable dynamic mapping again
    1. 更新hamlet_template，重新开启动态索引功能
  4. Update hamlet_template so as to:
    1. 更新hamlet_template使得它可以应对以下情形
    2. dynamically map to an integer any field that starts by “number_”,
      1. 动态索引所有一"number_"开头的数据，把他们设定为"integer"型的索引
    3. dynamically map to unanalysed text any string field
      1. 动态索引所有字符串（string）型的数据，让他们不被分词
  5. Create the index hamlet-2 and add a document by running the following command
    1. 创建一个叫hamlet-2的索引，并通过下面这些命令来添加一些数据
      POST hamlet-2/_doc/1
{
  "text_entry": "With turbulent and dangerous lunacy?",
  "line_number": "3.1.4",
  "number_act": "3",
  "speaker": "KING CLAUDIUS"
}
  6. Verify that the mapping of hamlet-2 is consistent with what defined in hamlet_template
    1. 校验一下hamlet-2里的字段是不是按照hamlet_template里的设置正确的索引了

第3题，题解

  1. 更新模板，并使之不再支持动态索引

    PUT _template/hamlet_template
{
  "index_patterns": [
    "hamlet_*",
    "hamlet-*"
  ],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "dynamic": "strict"
  }
}

  2. 插数据并校验

    1. 插数据，命令同上

      • 返回值
      {
  "error": {
    "root_cause": [
      {
        "type": "strict_dynamic_mapping_exception",
        "reason": "mapping set to strict, dynamic introduction of [author] within [_doc] is not allowed"
      }
    ],
    "type": "strict_dynamic_mapping_exception",
    "reason": "mapping set to strict, dynamic introduction of [author] within [_doc] is not allowed"
  },
  "status": 400
}

    2. 校验索引：GET hamlet-1

      • 返回值
      {
  "hamlet-1" : {
    "aliases" : { },
    "mappings" : {
      "dynamic" : "strict"
      }
    },
    "settings" : {
      "index" : {
        "creation_date" : "1605765222745",
        "number_of_shards" : "1",
        "number_of_replicas" : "0",
        "uuid" : "CiHizX7-QfqaOs4CpsPTPg",
        "version" : {
          "created" : "7020199"
        },
        "provided_name" : "hamlet-1"
      }
    }
  }
}

    3. 校验数据：GET hamlet-1/_doc/99

      • 返回值
      {
  "_index" : "hamlet-1",
  "_type" : "_doc",
  "_id" : "99",
  "found" : false
}

  3. 更新模板，开启动态索引，两种方式

    1. 把dynamic直接删掉或者设为“true”（这里使用设为“true”的方式）
      PUT _template/hamlet_template
{
  "index_patterns": [
    "hamlet_*",
    "hamlet-*"
  ],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "dynamic": true
  }
}

  4. 更新模板使之能处理下面的动态索引需求

    PUT _template/hamlet_template
{
  "index_patterns": [
    "hamlet_*",
    "hamlet-*"
  ],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "dynamic": "true",
    "dynamic_templates": [
      {
        "number_fields_as_integers": {
          "match": "number_*",
          "mapping": {
            "type": "integer"
          }
        }
      },
      {
        "string_fields": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

  5. 插入数据并校验

    1. 插数据命令同上
      • 返回值
      {
  "_index" : "hamlet-2",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}
    2. 校验索引：GET hamlet-2
      • 返回值
      {
  "hamlet-2" : {
    "aliases" : { },
    "mappings" : {
      "dynamic" : "true",
      "dynamic_templates" : [
        {
          "number_fields_as_integers" : {
            "match" : "number_*",
            "mapping" : {
              "type" : "integer"
            }
          }
        },
        {
          "string_fields" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "keyword"
            }
          }
        }
      ],
      "properties" : {
        "line_number" : {
          "type" : "keyword"
        },
        "number_act" : {
          "type" : "integer"
        },
        "speaker" : {
          "type" : "keyword"
        },
        "text_entry" : {
          "type" : "keyword"
        }
      }
    },
    "settings" : {
      "index" : {
        "creation_date" : "1605766333188",
        "number_of_shards" : "1",
        "number_of_replicas" : "0",
        "uuid" : "DZ2DCnqoRSCwy40rncb_aA",
        "version" : {
          "created" : "7020199"
        },
        "provided_name" : "hamlet-2"
      }
    }
  }
}
    3. 校验数据：GET hamlet-2/_doc/1
      • 返回值
      {
  "_index" : "hamlet-2",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "text_entry" : "With turbulent and dangerous lunacy?",
    "line_number" : "3.1.4",
    "number_act" : "3",
    "speaker" : "KING CLAUDIUS"
  }
}

第3题，题解说明

  • 这题主要考察索引模板和动态模板
    • 索引模板的变更不会影响到已经存在的索引，所以不管是开/关 dynamic 设置还是添加其他字段定义都不会在已经存在的索引中生效
    • dynamic为“true”时会拒绝任何包含没被预先设置的文档，但是让它失效有两种方式
      • 把它设为“false”
      • 直接把它删掉
    • 目前看起来这俩方式是等效的，但是不能像其他的设置一样把它设为 “null”，会报以下错误
      {
  "error": {
    "root_cause": [
      {
        "type": "mapper_parsing_exception",
        "reason": "Failed to parse mapping [_doc]: null"
      }
    ],
    "type": "mapper_parsing_exception",
    "reason": "Failed to parse mapping [_doc]: null",
    "caused_by": {
      "type": "null_pointer_exception",
      "reason": null
    }
  },
  "status": 400
}
    1. 参考链接-index-template，参考链接-dynamic-templates，参考链接-keyword-datatype，参考链接-analyzer
    2. 页面路径-index-template：Indices APIs =》 Index Templates
    3. 页面路径-dynamic-templates：Mapping =》 Dynamic Mapping =》 Dynamic templates
    4. 页面路径-keyword-datatype：Mapping =》 Field datatypes =》 Keyword
    5. 页面路径-analyzer：Mapping =》 Mapping parameters =》 analyzer
死敌wen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pandas 按索引合并数据集的方法
09-19
今天小编就为大家分享一篇Pandas 按索引合并数据集的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【Python】数据分析.pandas.索引、重建索引、复合索引
懂得一千零一种,赋予你失败的方法！
06-11 9822
Python----数据分析-pandas.索引及复合索引 目录： 一、索引（index） 二、重建索引（reindex） 三、复合索引 一、索引（index） pandas的索引对象负责管理轴标签和其他元数据（比如轴名称等）。构建Series或DataFrame时，被作为索引的数组会被转换成一个Index： import numpy as np import pandas as pd df = pd.DataFrame(np.arange(12).reshape((3,4)),index=(list
Pandas学习笔记（二）—— Pandas索引
qq_43300880的博客
05-26 1610
Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。
Pandas（二）—— 索引、分组
share16的博客
05-12 2025
Pandas（二）： 索引、分组
Pandas：按索引合并数据集
bqw的博客
04-15 4万+
import numpy as np import pandas as pd from pandas import Series,DataFrame 一、merge函数 left1 = DataFrame({'水果':['苹果','梨','草莓'], '价格':[3,4,5], '数量':[9,8,7]}).set...
Elastic-Certified-Engineer-Exam-Notes:弹性认证工程师考试笔记
04-16
该考试是动手练习，因此没有多项选择题。 您实际上需要了解它并能够走路。 ：D Elastic处于考试内容的最前面，带有很大的主题列表，您可以在下面看到。 因此，这使考生能够在接近考试中的水平上进行练习。 :face_...
elasticsearch-analysis-ik-8.11.0
11-27
2. 配置：在Elasticsearch的配置文件`elasticsearch.yml`中添加IK插件的配置，例如设置默认分词器、启用扩展词典等。 3. 启动：重启Elasticsearch服务以使配置生效。 4. 测试：通过Elasticsearch的API进行测试，...
elasticsearch-analysis-ik-7.15.2和7.14.0.zip
12-01
在给定的压缩包文件中，我们有两个版本，分别是 `elasticsearch-analysis-ik-7.15.2.zip` 和 `elasticsearch-analysis-ik-7.14.0.zip`，它们分别对应于Elasticsearch的7.15.2和7.14.0版本。 **Elasticsearch 分析...
elasticsearch-analysis-ik-8.1.3.zip
最新发布
04-11
**Elasticsearch Analysis IK全文搜索分词器** Elasticsearch-analysis-ik是针对Elasticsearch设计的一款强大的中文分词插件。它旨在提供一个灵活、高效且可扩展的中文分词解决方案，使得在Elasticsearch中进行全文...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
**Elasticsearch动态同义词插件详解** 在搜索引擎领域，同义词处理是一项重要的功能，它能够提高搜索结果的相关性和用户体验。Elasticsearch（ES）作为一款强大的全文搜索引擎，同样支持对同义词的处理。`elastic...
Pandas 复合索引
千里之行始于足下
11-01 1663
– Start import pandas as pd # http://www.csindex.com.cn/zh-CN/downloads/indices?lb=%E5%85%A8%E9%83%A8&xl=1 # 通过读取 Excel 文件创建 DataFrame df = pd.read_excel("index300.xls", sheet_name="Directive Ind...
第二章 索引-学习笔记
qq_45396577的博客
12-20 511
第二章 索引 import numpy as np import pandas as pd 一、索引器 1. 表的列索引 列索引是最常见的索引形式，一般通过[]来实现。通过[列名]可以从DataFrame中取出相应的列，返回值为Series，例如从表中取出姓名一列： # 读取数据，usecols 取所需列 df = pd.read_csv('data/learn_pandas.csv', usecols = ['School', 'Grade', 'Name', 'Gender', 'Weight', '
Python pandas，index索引，修改索引，复合索引，将某列设为索引
热门推荐
houyanhua1的专栏
02-22 7万+
  demo.py（index索引，修改索引，将DataFrame某列设为索引）： # coding=utf-8 import numpy as np import pandas as pd df = pd.DataFrame(np.arange(12, 24).reshape((3, 4)), index=["a", "b", "c"], columns=["WW", "XX", "Y.
【pandas03】索引器
apple_50678962的博客
12-21 652
索引器 表的列索引 序列的行索引 loc索引器 练一练，实现 select_dtypes('number') select_dtypes 是一个实用函数，它能够从表中选出相应类型的列，若要选出所有数值型的列，只需使用 .select_dtypes('number') ，请利用布尔列表选择的方法结合 DataFrame 的 dtypes 属性在 learn_pandas 数据集上实现这个功能。 df_demo.loc[:,[str(df_demo[v].dtype) in {'float64', '
numpy第三章-索引器、多级索引
Sun123234的博客
07-31 1738
numpy第三章-索引器、多级索引
Pandas练习题 （二）
wangjp的博客
04-04 4303
import numpy as np import pandas as pd Ex1：公司员工数据集 1. 分别只使用query和loc选出年龄不超过四十岁且工作部门为Dairy或Bakery的男性。 # 自己写的 df.query('(age<=40)&((department == "Dairy")|(department == "Bakery"))') df.loc[(df.age<= 40) & ((df.department == 'Dairy')|( df.depa
pandas索引复合索引dataframe数据、索引其中多个水平（level）的多个数据行(index rows from different levels)、使用元组tuple表达复合索引的指定行
data+scenario+science+insight
02-03 772
pandas索引复合索引dataframe数据、索引其中多个水平（level）的多个数据行(index rows from different levels and combine)、使用元组tuple表达复合索引的指定行
pandas 索引和分组
m0_49180275的博客
07-17 1574
索引和分组索引重复索引层次化索引Series 多层索引DataFrame 多层索引索引交换及排序按照索引级别进行统计索引与列的转换分组计算对 Series 进行分组对 DataFrame 进行分组通过字典分组通过函数来分组多级索引数据根据索引级别来分组数据聚合内置聚合函数自定义聚合函数应用多个聚合函数给不同的列应用不同的聚合函数重置索引分组运算和转换transformapply 函数apply 应用示例：用不同的分组平均值填充空缺数据 索引 行索引 列索引 索引的分类 重复索引的处理 重复索引 层次化
Elasticsearch 向量搜索的工程化实战
weixin_40601534的博客
12-18 1774
背景 作为一家搜索引擎公司，我们会很倚赖 ES 帮忙处理包括文章召回，数据源划分，实体、标签管理等任务，而且都收到了不错的结果。 最近我们需要对行业知识库进行建模，其中可能会涉及到实体匹配、模糊搜索、向量搜索等多种召回和算分方式，最终我们选择了通过 ES 7.X （最终选择 7.10）里的新功能，Dense vector 帮忙一起完成这部分的需求。 技术选型 解决方案需求 支持向量搜索 支持多维度筛选、过滤 吞吐速率 学习、使用成本 运维成本 使用场景设计 离线数据准备 在离线数据构建完成后，存入该
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值