Elasticsearch-索引mapping详解

最新推荐文章于 2024-08-03 11:03:01 发布
最新推荐文章于 2024-08-03 11:03:01 发布
阅读量785 收藏 1
点赞数
文章标签： elasticsearch 搜索引擎 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengjumingdream/article/details/130161617
版权

Es-索引mapping详解

ES-mapping详解

一、背景

在Elasticsearch中，映射指的是mapping，用来定义一个文档以及其所包含的字段如何被存储和索引，可以在映射mapping中事先定义字段的数据类型、字段的权重和分词器等属性，就类似在关系型数据库中创建字段时设置字段属性一样。

二、官方mapping构成

官方链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/coerce.html#coerce-setting

  1. Dynamic mapping

  2. Explicit mapping

  3. runtime fields

  4. field data type

  5. Metadata fields

  6. Mapping parameters

  7. mapping limit settings

  8. Removal of mapping type

三、构建mapping

  1. 首先确定数据格式类型

  • 基本数据类型

    • text

    • keyword

    • date

  • 复合数据类型

    • list

    • json

  1. 确定parameter参数

    • 不同的数据类型有不同的基础参数

  2. 确定mapping限制

四、类型举例

  1. TEXT-全文类型

  • description

    • 用于索引全文的字段，例如：电子邮件正文，商品介绍，个人简介

    • 这些字段能够被分析，在被索引之前，它们通过分析器将字符串转换成单个术语列表，分析过程中允许ES在每个全文字段中搜索单个单词

    • 该字段不用于排序，很少用于聚合

  • parameters

    • analyzer：分词器

      • 指明该字段用于索引时和搜索时的分析字符串的分词器（使用search_analyzer可覆盖）；

      • 默认为索引分析器或标准分词器

    • fielddata：是否存储进fielddata

      • 指明该字段是否可以使用内存中的fielddata进行排序，聚合或脚本编写？

      • 排序，分组需要指定为true

      • 默认值为false

    • fields：设置【多数类型】

      • 当前text类型不够，还要设置其他类型。

      • 例如：text类型字段会被分词搜索，不能用于排序，但是需要当前字段既要能通过分词搜索，又要能够排序，就要设置fields为keyword类型进行聚合排序。

    • index：【是否被索引】

      • 设置该字段是否可以用于搜索。默认为true，表示可以用于搜索。

    • index_options: 【索引选项】用于控制在索引中哪些信息会被写入倒排索引中

      • docs：【文档号】

      • freqs：【文档号、关键词的出现词频率】，词频用于给文档进行评分，重复词的评分会高于单个词评分

      • positions：【文档号、词频、关键词的相对位置】，相对位置可用于编辑距离计算和短语查询(不分词那种)

      • offsets：【文档号、词频、关键词的相对位置、该词的起始字符串偏移量】

  1. keyword 关键字系列

  • description

    • keyword：主要用于 IDs、email地址、hostnames、status code、zip code 或者tags。

    • constant_keyword: 主要用于包含相同值的keyword

    • wildcard: 非结构化机器生成内容的通配符。通配符类型针对具有大值或高基数的字段进行了优化。

  • function

    • keyword字段只能按其确切值进行搜索，通常用于过滤、排序和聚合

  • keyword:

    • description

      • 不是所有的数字型数据都应该被映射为数字类型；ES优化了用于range查询的字段，例如：Integer和long；然而keyword字段更好的用于术语以及其他术语的查询。

      • 标识符（如ISBN或产品ID）很少用于范围查询。然而，它们通常使用术语级查询来检索。

      • 如果是以下情况，可以考虑使用keyword代替数字类型：

        • 你不计划使用范围查询检索标识符数据。

        • 快速检索相当重要，关键字字段上的术语查询搜索通常比数字字段上的词汇搜索更快。

    • parameters

      • doc_values

      • eager_global_ordinals：指明该字段是否加载全局序数？默认为false，不加载。 对于经常用于术语聚合的字段，启用此功能是个好主意。

      • fields：指明能以不同的方式索引该字段相同的字符串值，例如用于搜索的一个字段和用于排序和聚合的多字段

      • gnore_above：不要索引长于此值的任何字符串。默认为2147483647，以便接受所有值

      • index：指明该字段是否可以被搜索，默认为true，表示可以被搜索

      • index_options：指定该字段应将哪些信息存储在索引中，以便用于评分。默认为docs，但也可以设置为freqs，这样可以在计算分数时考虑术语频率

      • ignore_above：默认值是256，该参数的意思是，当字段文本的长度大于指定值时，不会被索引，但是会存储。即当字段文本的长度大于指定值时，聚合、全文搜索都查不到这条数据。–

        • ignore_above 最大值是 32766 ，但是要根据场景来设置，比如说中文最大值 应该是设定在10922 。

        • ignore_above背后的含义：Lucene对一个文本长度进行解析，当这个长度大于32766时，将不会进行analye行为。elasticsearch中采用字符个数来定义ignore_above值，而 Lucene 是采用byte字节。

          • 象形文字字符(中文、韩文、日文): 10922 个字符(算法是: 32766 / 3).

          • Literal字符(印度文、俄文): 16383 个字符(算法是: 32766 / 2).

          • ASCII字符(a-zA-Z0-9以及~!@#$等特殊字符): 32766个字符(算法是: 32766).

  • constant_keyword

  • wildcard

  1. 数字类型

  • description

    • ES支持的数字类型有整型数字类型，integer类型、long类型、short类型、byte类型。浮点型数字类型 double类型、 float类型、 half_float类型、 scaled_float类型这类数据类型都是以确切值索引的，可以使用term查询精确匹配。

      • long带符号的64位整数，最小值-263，最大值263-1

      • integer带符号的32位整数，最小值-231，最大值231^-1

      • short带符号的16位整数，最小值-32768，最大值32767

      • byte带符号的8位整数，最小值-128，最小值127

      • double双精度64位IEEE 754 浮点数

      • float单精度32位IEEE 754 浮点数

      • half_float半精度16位IEEE 754 浮点数

      • scaled_float带有缩放因子的缩放类型浮点数，依靠一个long数字类型通过一个固定的(double类型)缩放因数进行缩放.

  • parameters

    • coerce：是否尝试将字符串转换为整数并截断整数的分数，默认为true，接受一个boolean值

    • doc_values：是否将该字段以逐列的方式存储在磁盘上，用于聚合和排序，默认true

    • ignore_malformed：如果为true，则忽略格式错误的数字；如果为false则格式错误的数字会抛出异常并拒绝整个文档，默认false

    • store：字段是否与_source元数据分开存储

    • meta：关于字段的元数据，附加到字段上

    • index：指明该字段是否被搜索。默认为true，表示可以被搜索

    • null_value：指明一个与该字段相同类型的值去替换掉该字段中的null。默认为null，表示该字段被视为缺失

    • scaled_float: 类型接受一个附加参数scaling_factor（特别使用）

  • scaled_float

    • scaled_float类型需要格外注意：必须指定缩放因子scaling_factor。
    *   ES索引时，原始值会乘以该缩放因子并四舍五入得到新值，ES内部储存的是这个新值，但返回结果仍是原始值。
    
*   例如：scale\_factor为10，ES在索引时，scaled\_float字段将在内部存储2.34为23，查询时，ES都会将查询参数x10再四舍五入得到的值与23匹配，若能匹配到返回结果为2.34

五、总结

  1. analyzer、search_analyzer、search_quote_analyzer的区别

    [https://blog.csdn.net/qq\_39552268/article/details/118330953](https://blog.csdn.net/qq_39552268/article/details/118330953)

  2. positions和offsets详解

index_positions：中的参数主要用于text类型数据进行分词，然后在检索匹配score大小和相关匹配高亮中起关键作用

image

dengjumingdream
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Elasticsearch的基本使用（一）---------索引和mapping的相关操作
Robin的博客
03-26 175
1、创建索引 PUT /index_test { "settings": { "index": { "number_of_shards": "2", "number_of_replicas": "0" } } } 2、查看索引 GET _cat/indices?v 3、删除索引 DELETE /index_test 4、创建索引的同时创建mappings （..
Elasticsearch系列(三)mapping详解
淡淡的倔强的博客
01-26 4073
一、前言 Elasticsearch中mapping创建类似MYSQL中的表schema，本文大致记录下ES中mapping创建遇到的一些问题，供彼此学习，更多的请查看官网。 Elasticsearch-mapping 一、示例分析 curl -XPUT "http://localhost:9200/rate" -H 'Content-Type: application/json' -d' {...
【ElasticSearch-基础篇】Mapping结构
qq_42890164的博客
01-08 2373
【ElasticSearch-基础篇】Mapping结构
es自动化脚本:创建索引和结构映射
02-07
以脚本方式创建es 索引和结构映射. 莎士比亚在不经意间这样说过，本来无望的事，大胆尝试，往往能成功。我希望诸位也能好好地体会这句话。 一般来讲，我们都必须务必慎重的考虑考虑。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 我认为， 带着这些问题，我们来审视一下我秃头了。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 在这种困难的抉择下，本人思来想去，寝食难安。 邓拓曾经提到过，越是没有本领的就越加自命不凡。这不禁令我深思。 西班牙曾经提到过，自己的鞋子，自己知道紧在哪里。这不禁令我深思。 了解清楚我秃头了到底是一种怎么样的存在，是解决一切问题的关键。 不用谢,我热愛滑铲.
Elasticsearch 映射（mapping）
最新发布
zhj100921的博客
08-03 1073
Elasticsearch 动态映射 mapping TransportPutMappingAction
elasticsearch创建索引和mapping
夜行僧的博客
12-09 1万+
1. 创建索引的同时指定特殊字段的类型 PUT /gunspoc { "mappings": { "doc":{ "properties":{ "name":{ "type":"keyword" }, "age":{ "type": "long" }, "address":{ "type":"text" }, "b
Elasticsearch学习-索引操作及Mapping映射
nsa65223的专栏
07-12 3321
在7.X版本前类似于关系型数据库中的数据库概念，8.X版本后删除了type概念，索引类似于关系型数据库中的表。
es创建索引和mapping
goxingman的博客
11-09 1万+
1、创建index 1.创建索引 http://127.0.0.1:9200/ negative/ put 2、创建mapping 2.创建mapping http://127.0.0.1:9200/ negative/negative/_mapping post {"properties":{ "id": { "type": "long" }, "yjlb": { "type": "text", "fields": { "keyword":
es-3-创建索引&新建mapping
xyh的博客
04-21 6995
索引命名要求 索引命名只能使用小写字母 不能包含除-_以外的特殊字符 不能用-_开头 长度必须小于255B 索引别名 给一个索引起多个别名 给多个索引起一个别名（更有意义，为了不让一个索引的容量过于大，可以每隔一段时间把新增数据新建一个索引，然后命名同一个别名）。 索引操作 索引关闭：索引关闭后除了元数据以外不会再占用任何集群资源。 索引模板：规定索引创建的模式和规则，别名、配置、映射关系，分别用index_patterns、aliases、settings、mappings来设置。 PUT _
elasticsearch-analysis-ik-8.2.0.zip
05-30
《Elasticsearch 8.2.0 中文分词器详解及应用》 Elasticsearch（ES）作为一款强大的开源搜索引擎，广泛应用于大数据处理和信息检索领域。在处理中文文本时，选择合适的分词器至关重要，elasticsearch-analysis-ik-...
elasticsearch-head 的谷歌浏览器（chrome）插件，版本为 0.1.5。
01-19
**Elasticsearch-Head 插件详解** Elasticsearch-Head 是一款专为Elasticsearch设计的可视化管理工具，它以谷歌浏览器（Chrome）插件的形式存在，方便用户直观地查看和管理Elasticsearch集群的状态、索引、文档等...
elasticsearch-analysis-ik-7.7.0
06-13
**Elasticsearch Analysis IK 7.7.0 知识点详解** Elasticsearch 分析插件 `elasticsearch-analysis-ik` 是一个专门为 Elasticsearch 设计的中文分词器，其7.7.0版本是针对 Elasticsearch 7.7.0 版本优化的。这个...
Elasticsearch---spring-boot-starter-data-elasticsearch整合攻略详解
qq_46416934的博客
07-29 9208
首先要确保自己引入的spring-boot-starter-data-elasticsearch版本与elasticsearch一直，通常情况下会遇到使用了如，spring-boot-dependencies，parent等版本依赖管理导致es版本不对应的情况。
ElasticSearch教程——mapping详解
东天里的冬天
10-06 4145
ElasticSearch汇总请查看：ElasticSearch教程——汇总篇   前期准备 插入几条数据，让es自动为我们建立一个索引 PUT /website/article/1 {   "post_date": "2017-01-01",   "title": "my first article",   "content": "this is my first article in.
ES 创建索引 以及Mapping
zhanghe687的博客
02-09 4939
1. 先创建一个索引 curl -XPUT 'http://10.128.xx.yy:9200/wechat_data' 2. 再创建mapping。 例如： curl -XPOST 'http://10.128.XX.YY:9200/wechat_data/wechat_data/_mapping?pretty' -H 'Content-Type:application/json' -d' { "wechat_data": { "dynamic": "false", "pro
最全Elasticsearch学习-索引操作及Mapping映射_es建索引建mapping，2024年最新四面楚歌的大数据开发工程师该何去何从
2301_76348014的博客
05-07 852
doc_values：为了提升排序和聚合效率，默认true，如果确定不需要对字段进行排序或聚合，也不需要通过脚本访问字段值，则可以禁用doc值以节省磁盘空间（不支持text和annotated_text）6. fielddata：查询时内存数据结构，在首次用当前字段聚合、排序或者在脚本中使用时，需要字段为fielddata数据结构，并且创建倒排索引保存到堆中。设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合。
Elasticsearch Mapping的解析、数据类型、Mapping 支持属性、Mapping 字段设置流程
热门推荐
zx711166的博客
08-14 1万+
什么是Mapping（映射） 映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等等。 映射可以分为动态映射和静态映射。 动态映射 （dynamic mapping）：在关系数据库中，需要事先创建数据库，然后在该数据库实例下创建数据表，然后才能在该数据表中插入数据。而Elast...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值