ES7基础篇-05-动态映射操作

置顶 已于 2023-05-31 10:05:26 修改
阅读量734 收藏
点赞数
分类专栏： ES-基础篇 文章标签： elasticsearch
于 2021-11-07 14:41:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hmj050117/article/details/121191068
版权

文章目录

1. 简述

通常情况下，我们使用ES建立索引的步骤是，先创建索引，然后定义索引中的字段以及映射的类型，然后再向索引中导入数据。
而动态映射是ES中一个非常重要的概念，你可以直接向文档中导入一条数据，与此同时，索引、字段、字段类型都会自动创建，无需你做其他的操作。这就是动态映射的神奇之处。

2. 动态字段映射

ES的动态映射默认是开启的，动态映射的默认规则如下：

JSON的数据类型JSON的数据类型
null不会映射字段
true 或 falseboolean类型
浮点型数字float
整型数字long
JSON对象Object
数组第一个非空值得类型
String1、如果满足日期类型的格式，映射为日期类型
String2、如果满足数字型的格式，映射为long或者float
String3、如果就是字符串，会 映射为一个text类型和一个keyword类型

eg： 随便创建一个文档试一试

PUT /wql01/_doc/1
{
  "mappings": {
    "my_null": null,
    "my_boolean": false,
    "my_float": 1.56,
    "my_long": 3,
    "my_object": {
      "my_first": "first value",
      "my_second": "second_value"
    },
    "my_array": [
      1,
      2,
      3
    ],
    "my_date_1": "2020-05-01",
    "my_date_2": "2020/05/01 12:03:03",
    "my_date_3": "05/01/2020",
    "my_string_long": "1",
    "my_string_float": "4.6",
    "my_string": "中华人民共和国"
  }
}

查看结果： GET /wql01

{
  "wql01" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "mappings" : {
          "properties" : {
            "my_array" : {
              "type" : "long"
            },
            "my_boolean" : {
              "type" : "boolean"
            },
            "my_date_1" : {
              "type" : "date"
            },
            "my_date_2" : {
              "type" : "date",
              "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
            },
            "my_date_3" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_float" : {
              "type" : "float"
            },
            "my_long" : {
              "type" : "long"
            },
            "my_object" : {
              "properties" : {
                "my_first" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                },
                "my_second" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                }
              }
            },
            "my_string" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_string_float" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_string_long" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "wql01",
        "creation_date" : "1636266489958",
        "number_of_replicas" : "1",
        "uuid" : "FZFVwJjWQOGwXkJMdxw0zg",
        "version" : {
          "created" : "7150199"
        }
      }
    }
  }
}

大概结果就是：

字段映射结果是否达到预期原因
my_null没有映射是null值不映射
my_booleanboolean是
my_floatfloat是
my_longlong是
my_objectobject是my_object里自动生成了两个字段的映射
my_arraylong是数组中的数字是long型
my_date_1date是
my_date_2date是
my_date_3text否没有指定这种日期格式，所以映射为text
my_string_longtext否数字探测默认关闭，没有打开
my_string_floattext否数字探测默认关闭，没有打开
my_stringtext是普通字符串，映射为text

下面我们把数字探测打开，执行如下请求：

PUT /wql01
{
  "mappings": {
    "numeric_detection": true
  }
}

发现报错：

{
  "error" : {
    "root_cause" : [
      {
        "type" : "resource_already_exists_exception",
        "reason" : "index [wql01/FZFVwJjWQOGwXkJMdxw0zg] already exists",
        "index_uuid" : "FZFVwJjWQOGwXkJMdxw0zg",
        "index" : "wql01"
      }
    ],
    "type" : "resource_already_exists_exception",
    "reason" : "index [wql01/FZFVwJjWQOGwXkJMdxw0zg] already exists",
    "index_uuid" : "FZFVwJjWQOGwXkJMdxw0zg",
    "index" : "wql01"
  },
  "status" : 400
}

由于我们的索引dynamic-index中，存在了映射关系，再进行设置是会报错的，所以我们要将索引删除，执行如下请求：

DELETE /wql01

再新增 日期的设置要和数字探测:

PUT /wql01
{
  "mappings": {
    "numeric_detection": true,
    "dynamic_date_formats": ["MM/dd/yyyy"]
  }
}

然后再新增刚刚那一笔数据，查看：

{
  "wql01" : {
    "aliases" : { },
    "mappings" : {
      "dynamic_date_formats" : [
        "MM/dd/yyyy"
      ],
      "numeric_detection" : true,
      "properties" : {
        "mappings" : {
          "properties" : {
            "my_array" : {
              "type" : "long"
            },
            "my_boolean" : {
              "type" : "boolean"
            },
            "my_date_1" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_date_2" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_date_3" : {
              "type" : "date",
              "format" : "MM/dd/yyyy"
            },
            "my_float" : {
              "type" : "float"
            },
            "my_long" : {
              "type" : "long"
            },
            "my_object" : {
              "properties" : {
                "my_first" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                },
                "my_second" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                }
              }
            },
            "my_string" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "my_string_float" : {
              "type" : "float"
            },
            "my_string_long" : {
              "type" : "long"
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "wql01",
        "creation_date" : "1636267063528",
        "number_of_replicas" : "1",
        "uuid" : "tWQy9ptPRmiLu_QOQ5Gl0A",
        "version" : {
          "created" : "7150199"
        }
      }
    }
  }
}

我们重点看一下以上几个字段，my_string_float和my_string_long映射成我们想要的类型了，由于我们开启了数字探测。再看看我们映射的3个日期类型，咦？只有my_date_3映射了日期类型，其他两个都是映射成了text类型，这是由于我们在设置dynamic_date_formats时，只指定了一种格式。我们只需要把其他两种类型的日期格式也加上就可以了。

PUT /wql01
{
  "mappings": {
    "numeric_detection": true, 
    "dynamic_date_formats": ["MM/dd/yyyy","yyyy/MM/dd HH:mm:ss","yyyy-MM-dd"]
  }
}

先删再创建再添加数据，发现符合预期

Alan0517
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Elasticsearch】Elasticsearch 7 : 动态映射 dynamic
九师兄
10-30 1191
1.概述 参考：https://www.letianbiji.com/elasticsearch/es7-dynamic-mapping.html dynamic用来配置处理新出现字段的行为，有true，false，strict 三种。 true 是默认值，会自动在 mapping 中添加字段，并在文档中保存新字段的值。 false 代表不会在 mapping 中添加字段，但会将数据存起来。 strict 代表既不会新增字段，也不会保存新字段的内容，遇到新字段直接报错。 另外，对于嵌套类型的字段，可以.
ES中的动态映射和动态模板
bieber007的博客
10-10 1214
为了方便演示和切换 ES 地址，在 ~/.bashrc 中添加如下变量和脚本： ES=localhost:9200 escurl () { curl -H 'Content-Type: application/json' "$@"; } 复制代码 Elasticsearch 具有非常强大的动态性和灵活性，例如当向一个不存在的索引添加文档时，会自动创建该索引，例如： $ escurl -XPUT $ES/my_article/doc/1?pretty -d ' { "title": .
ElasticSearch 实战：如何配置使用ES的动态映射 (dynamic mapping)
最新发布
qq_33240556的博客
03-29 439
在Elasticsearch中，动态映射允许Elasticsearch根据插入文档的字段自动创建映射。
（十二）如何配置使用Elasticsearch的动态映射 (dynamic mapping)
hd20086996的博客
10-12 977
目录1 动态映射(dynamic mapping)1.1 什么是动态映射1.2 体验动态映射2 开启dynamic mapping动态映射策略2.1 约束策略2.2 策略示例3 定制dynamic mapping策略3.1 date_detection - 日期识别策略3.2 在type中自定义动态映射模板 写在前面: 本文涉及到的演示以ES 6.6.0版本, 其他版本可能存在不同, 还请读者朋友们注意. 1 动态映射(dynamic mapping) 1.1 什么是动态映射 动态映射时Elasticsea
ES映射操作 已创建的ES索引 增加映射字段（类似DB库增加给表增加字段）一样
老年人写代码的博客
06-27 1830
ES已存在的索引下添加映射。
ElasticSearch 基础（五）之 映射
weixin_43844718的博客
03-07 2719
映射（Mapping）是定义文档及其包含的字段如何存储和索引的过程。每个文档都是字段的集合，每个字段都有自己的数据类型。映射数据时，创建映射定义，其中包含与文档相关的字段列表，决定字段使用什么分词器解析，是否有子字段等。映射定义还包括元数据字段，如_source字段，用于自定义如何处理文档的关联元数据。MySQLIndex（索引）Table（数据表）Dcoument（文档）Row（行）Fields（字段）Column（列）在 ES 7.0.0之前，映射定义包含一个类型名。
6ES7-215-1AG40-0XB0-V04.05.02.zip
05-04
西门子S7-1215C的V4.5的固件来啦，供各位友友下载，博图TIA
sublime-es7-javascript-react-snippets:Sublime ES7 ReactReduxReact-NativeJS 片段
05-31
Sublime ES7 React/Redux/React-Native/JS 片段（用于 JS 和 TS） 此Sublime扩展将优秀的流行片段集从移植到Sublime。 来自 VS Code 扩展的代码片段位于scr/snippets.json ，将代码片段转换为 Sublime 代码片段格式...
broccoli-es7-decorator-jshint-guards
05-23
安装从NPM： npm install broccoli-es7-decorator-jshint-guards --save-dev西兰花过滤器假设通过NPM安装，则可以broccoli-es7-decorator-jshint-guards使用broccoli-es7-decorator-jshint-guards ，如下所示： var ...
client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar
03-27
Load canal adapter: es7 failed...canal-adapter1.1.5报错, 将client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar 替换掉release版本的plugin文件的 client-adapter.es7x-1.1.5-jar-with-dependencies.jar
固件_S7-1212C_DCDCRLY_6ES7_212-1HE40-0XB0（V4.2.1-V4.5.2）.rar
02-14
固件_S7-1212C_DCDCRLY_6ES7_212-1HE40-0XB0（V4.2.1-V4.5.2）
Elasticsearch 字段动态/显示映射，kibana数据可视化
eyeofeagle的博客
03-19 1501
1, 动态映射：Dynamic mapping (动态确定字段类型，以第一个值为参照） Elasticsearch 默认不需要（事先建好索引，确定字段名和字段类型，然后才能添加数据），而是可以直接添加数据，并根据数值来动态确定字段类型https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-field-mapping.html json(-string) int --> long json double --&gt
ES读取Json文件添加索引
cuituancheng9378的博客
04-15 1652
今天学习了下，ES添加索引： 添加方式 ：1.读取 JSON 文件 获取相应的索引字段值 2.逐条读取写入ES创建索引。(注意:本例读一条，写一条效率非常低...
elasticsearch时间自动映射问题
weixin_43266529的博客
11-29 1742
elasticsearch在没有手动指定映射时会自动根据值映射类型，在时间的映射有需要注意。 首先创建一个索引(test)，这里不指定映射类型 PUT /test 往test索引中插入一个数据 POST /test/_doc { "name":"zhangsan", "birthday":"2021-01-01" } 然后查询索引中数据映射关系 GET /test/_mapping 映射关系如下 { "test" : { "mappings" : { "dynamic_
【学习笔记】ElasticSearch（ES）基本概念和语句学习笔记
zuzhiang的博客
01-22 2767
一、ES名词 ES：ElasticSearch又称ES，是一个可伸缩的、分布式的、近实时搜索的开源全文搜索与分析引擎。 index（索引）：一个索引就是一个拥有几分相似特征的文档的集合。相当于MySQL中的数据库。 type（类型）：一个索引中可以定义一种或多种类型。一个类型是索引的一个逻辑上的分类/分区，其语义完全由你来定。相当于MySQL中的表。 field（字段）：相当于MySQL中表的字段。 mapping（映射）：mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分
elasticsearch中给类型增加新字段
www.hohode.com
04-29 2万+
https://www.elastic.co/guide/en/elasticsearch/guide/current/_controlling_analysis.htmlFor instance, let’s add a new field to my_index:PUT /my_index/_mapping/my_type { "my_type": { "properti
es pipeline 脚本的一些使用案例 （动态索引和字段格式化）
qq_27621745的博客
09-28 2979
背景 公司有个需要将数据从mysql导入es，要求字段b如果为0，那么将该条数据方式索引index_a,否则放入index_b, 由于数据库中存储的时间格式为date，存入es时需要转换为时间戳。 数据量大概在亿级别，这边导入数据使用的是阿里的canal，canal文档不全，还有些已经过时，笔者踩了许多坑。总之慎用 解决方案 当时接到需求以为是不可能实现的（原谅我对es知之甚少），后来在浏览canal issues 时，#3604 有人提到将数据按月切分，其中clannad2000 提出使用es pipel
Elasticsearch - 自动检测及动态映射Dynamic Mapping
热门推荐
上善若水，水善利万物而不争。
04-07 3万+
一、自动映射：ES通过查看定义某文档的json格式就能猜测到文档结构，我们称之为自动映射，在开发过程中需要注意这些特性。字段自动检测在某个字段第一次出现时，如果之前没有定义过映射，ES会自动检测它可能满足的类型，然后创建对应的映射。JSON数据ES中的数据类型null不会添加字段true or falsebooleanfloating point numberdoubleintegerlongob
ES:定制化自己的dynamic mapping策略
标题
11-05 1308
1、定制dynamic策略 true：遇到陌生字段，就进行dynamic mapping false：遇到陌生字段，就忽略 strict：遇到陌生字段，就报错 PUT /my_index { "mappings": { "my_type": { "dynamic": "strict", "properties": { "title": {
6es7_214-1ag40-0xb0_v04.05.00.zip 下载
10-11
要下载6es7_214-1ag40-0xb0_v04.05.00.zip，您可以按照以下步骤操作。 首先，打开您的浏览器，并在搜索栏中输入“6es7_214-1ag40-0xb0_v04.05.00.zip下载”。 然后，点击搜索按钮，并在搜索结果中找到能够下载该文件的可靠网站。 接下来，点击下载按钮或链接，然后等待文件开始下载。具体下载时间将根据您的网络连接速度而有所不同。 一旦下载完成，找到您计算机上下载文件的存储位置，通常是默认的“下载”文件夹，或者您自己选择的其他位置。 最后，双击该.zip文件，将其解压缩到您希望保存的目标文件夹。您可以选择默认的解压缩选项，或者根据需要设置其他解压缩选项。 现在，您已经成功下载并解压缩了6es7_214-1ag40-0xb0_v04.05.00.zip文件。您可以根据您的需求使用这个文件了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alan0517

感谢您的鼓励与支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值