elasticsearch Mapping、字段类型Field type详解

最新推荐文章于 2024-07-22 08:00:00 发布
最新推荐文章于 2024-07-22 08:00:00 发布
阅读量1.7w 收藏 37
点赞数 1
分类专栏： elasticsearch 文章标签： mapping
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/limingcai168/article/details/85780964
版权

 

   其中string类型 ELasticsearch 5.X之后的字段类型不再支持string 由text或keyword取代。 如果仍使用string，会给出警告。

字段类型概述
一级分类	二级分类	具体类型
核心类型	字符串类型	text,keyword
整数类型	integer,long,short,byte
浮点类型	double,float,half_float,scaled_float
逻辑类型	boolean
日期类型	date
范围类型	range
二进制类型	binary
复合类型	数组类型	array
对象类型	object
嵌套类型	nested
地理类型	地理坐标类型	geo_point
地理地图	geo_shape
特殊类型	IP类型	ip
范围类型	completion
令牌计数类型	token_count
附件类型	attachment
抽取类型	percolator

put  http://192.168.11.237:9200/tms_site_index/

{
  "mappings": {
    "doc": {
      "properties": {
        "address": {
          "type": "text"
        },
	 "province": {
          "type": "text"
        },
	"type": {
          "type": "text"
        }, 
	"lng": {
	 "type": "float"
	 },
	 "lat": {
	 "type": "float"
	 },
	"id": {
          "type": "long"
         },
        "geo": {
          "type": "geo_point"
        },
	"customer_name": {
          "type": "text"
           "analyzer": "ik_max_word",
           "search_analyzer": "ik_max_word"
        },
	"gmt_created": {
          "type": "date"
        },
	"is_deleted": {
          "type": "integer"
        }
      }
    }
  }
}

customer_name字段  指定分析器 ，先要安装分词器插件

1.2 text类型
text取代了string，当一个字段是要被全文搜索的，比如Email内容、产品描述，应该使用text类型。设置text类型以后，字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项。text类型的字段不用于排序，很少用于聚合（termsAggregation除外）。把full_name字段设为text类型的Mapping如下：

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "full_name": {
          "type":  "text"
        }
      }
    }
  }
}

1.3 keyword类型

keyword类型适用于索引结构化的字段，比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。

 

1.4 date类型

JSON中没有日期类型，所以在ELasticsearch中，日期类型可以是以下几种：

日期格式的字符串：e.g. “2015-01-01” or “2015/01/01 12:10:30”.
long类型的毫秒数( milliseconds-since-the-epoch)
integer的秒数(seconds-since-the-epoch)


{
  "mappings": {
    "my_type": {
      "properties": {
        "date": {
          "type": "date" 
        }
      }
    }
  }
}

 

1.5 ip类型

ip类型的字段用于存储IPV4或者IPV6的地址

{
  "mappings": {
    "my_type": {
      "properties": {
        "ip_addr": {
          "type": "ip"
        }
      }
    }
  }
}

1.6 token_count类型

token_count用于统计词频：   是否是指，使用次数多的数据？


{
  "mappings": {
    "my_type": {
      "properties": {
        "name": { 
          "type": "text",
          "fields": {
            "length": { 
              "type":     "token_count",
              "analyzer": "standard"
            }
          }
        }
      }
    }
  }
}

 

1.7 geo point 类型

地理位置信息类型用于存储地理位置信息的经纬度：  可以实现附近的人，定位查询等，功能丰富


{
  "mappings": {
    "my_type": {
      "properties": {
        "location": {
          "type": "geo_point"
        }
      }
    }
  }
多种不同的插入方式，如下三种都可行
"location": { 
    "lat": 41.12,
    "lon": -71.34
  }

"location": "41.12,-71.34" 
"location": [ -71.34, 41.12 ]

 

1.8 _all  

_all字段是把其它字段拼接在一起的超级字段，所有的字段用空格分开，_all字段会被解析和索引，但是不存储。当你只想返回包含某个关键字的文档但是不明确地搜某个字段的时候就需要使用_all字段。  使用copy_to自定义_all字段：

GET my_index/_search
{
  "query": {
    "match": {
      "_all": "Java"
    }
  }
}

1.9 _routing

路由参数，ELasticsearch通过以下公式计算文档应该分到哪个分片上：

默认的_routing值是文档的_id或者_parent，通过_routing参数可以设置自定义路由。例如，想把user1发布的博客存储到同一个分片上，索引时指定routing参数，查询时在指定路由上查询

 

二、Mapping参数

 

2.1 analyzer

指定分词器(分析器更合理)，对索引和查询都有效。如下，指定ik分词的配置：

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "content": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}

2.2 normalizer

normalizer用于解析前的标准化配置，比如把所有的字符转化为小写等。例子： 在创建的时候，可以自定义多个分词组合待


PUT index
{
  "settings": {
    "analysis": {
      "normalizer": {
        "my_normalizer": {
          "type": "custom",
          "char_filter": [],
          "filter": ["lowercase", "asciifolding"]
        }
      }
    }
  },
  "mappings": {
    "type": {
      "properties": {
        "foo": {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

 

2.3 boost

boost字段用于设置字段的权重，比如，关键字出现在title字段的权重是出现在content字段中权重的2倍，设置mapping如下，其中content字段的默认权重是1.

2.4 enabled

ELasticseaech默认会索引所有的字段，enabled设为false的字段，es会跳过字段内容，该字段只能从_source中获取，但是不可搜。而且字段可以是任意类型。


{
  "mappings": {
    "session": {
      "properties": {
        "user_id": {
          "type":  "keyword"
        },
        "last_updated": {
          "type": "date"
        },
        "session_data": { 
          "enabled": false
        }
      }
    }
  }

 

2.5 format

format属性主要用于格式化日期：

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "date": {
          "type":   "date",
          "format": "yyyy-MM-dd"
        }
      }
    }
  }
}

更多内置的日期格式：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html

2.6 search_analyzer

大多数情况下索引和搜索的时候应该指定相同的分析器，确保query解析以后和索引中的词项一致。但是有时候也需要指定不同的分析器，例如使用edge_ngram过滤器实现自动补全。

默认情况下查询会使用analyzer属性指定的分析器，但也可以被search_analyzer覆盖。例子：
 

PUT my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 20
        }
      },
      "analyzer": {
        "autocomplete": { 
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "autocomplete_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "my_type": {
      "properties": {
        "text": {
          "type": "text",
          "analyzer": "autocomplete", 
          "search_analyzer": "standard" 
        }
      }
    }
  }
}

 

四、动态Mapping

4.1 default mapping

在mapping中使用default字段，那么其它字段会自动继承default中的设置。

 

各种mapping的处理，动态修改可以查询更多内容，高级功能都给整合出来了，没有解决不了的索引问题，只要不了解的知识体系，多熟悉这些才能熟练掌握elasticsearch 查询

感谢原博主的贡献

应该多看看这些功能， 原文参考  https://blog.csdn.net/ZYC88888/article/details/83059040

大树168
关注
专栏目录
Elasticsearch索引映射详解mapping.properties
qq_28834355的博客
10-13 4152
概述 映射是定义如何索引和存储文档和字段的过程，例如： 定义字段类型，哪些字段作为全文索引，哪些字段是数值、日期类型 定义日期字段的格式 控制动态添加字段的映射的自定义规则 字段类型 字符串类型： （1）text：通常用来存储长文本字段，例如博客标题、内容。通过定义analyzer，实现分词索引。 （2）keyword：不分词的字符串类型，存什么就是什么。 数值类型：long、integer、short、byte、double、float 日期类型：date 布尔类型：boolean 复合类型： （1
Elasticsearch系列(三)mapping详解
淡淡的倔强的博客
01-26 4075
一、前言 Elasticsearch中mapping创建类似MYSQL中的表schema，本文大致记录下ES中mapping创建遇到的一些问题，供彼此学习，更多的请查看官网。 Elasticsearch-mapping 一、示例分析 curl -XPUT "http://localhost:9200/rate" -H 'Content-Type: application/json' -d' {...
ElasticSearch - Field Type 字段类型
袭冷
02-15 1111
一、参考地址 https://www.elastic.co/guide/en/elasticsearch/reference/7.10/mapping-types.html 二、常用类型 Text 文本类型，存储字符串的类型，全文检索的字段类型；字符串将被分析器分析（分词）；用于全文检索；不用于排序，也很少用于聚合 Keywords 关键字类型，存储字符串的类型，单词匹配的字段类型；字符串将按原样保留而被存储；用于过滤和排序和汇总；避免用于全文...
Elasticsearch 的坑爹事——记录一次mapping field修改过程
weixin_34088838的博客
05-11 1537
Elasticsearch 的坑爹事 本文记录一次Elasticsearch mapping field修改过程团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping { "settings" : { "number_of_shards" : 20 }, "mappings" : { "c...
ES的基本组成和es的优势以及搜索写入原理
最新发布
后端开发
07-22 1112
本文依照倒叙的方式介绍什么是elasticsearch，包含es的基本组成和es的优势以及写入搜索的流程首先引入一个问题，如何从三段文本中快速找到包含关键词’caixukun’的记录？最直接的思路就是遍历所有的文本记录，然后判断是否包含关键词，最后返回文本的id如果记录的条数有上亿条呢？或者十亿？百亿？继续采用最初的思路全部遍历，先不说速度与乌龟相比如何，有没考虑过计算机的感受？cpu呢？内存呢？磁盘io？
elasticsearch mapping之fields
vincent_duan的专栏
01-14 4585
ES允许同一个字段有两个不同的类型，例如一个字段可以拥有keyword类型来进行聚合与排序，也可以拥有text来做全文检索。 举例如下： PUT my_index { "mappings": { "type": { "properties": { "city": { "type": "text", "fields": ...
ElasticSearch 的 mapping 参数 - fields
热门推荐
LoveSummer
12-26 1万+
在 es 中，一个字段可能运用于不同的场景，但是某个字段类型的使用场景是有局限的。
ElasticSearch 中的 Mapping
grfstc的博客
04-21 3568
1，ES 中的 Mapping ES 中的Mapping相当于传统数据库中的表定义，它有以下作用： 定义索引中的字段的名字。 定义索引中的字段的类型，比如字符串，数字等。 定义索引中的字段是否建立倒排索引。 一个 Mapping 是针对一个索引中的 Type 定义的： ES 中的文档都存储在索引的 Type 中 在ES 7.0之前，一个索引可以有多个 Type，所以一个索引可拥有多个 Mapping 在ES 7.0之后，一个索引只能有一个 Type，所以一个索引只对应一个 Mapp...
（四）elasticsearch之mapping详解和数据类型
qq_37891300的博客
08-22 1063
elasticsearch之mapping详解和数据类型 一、mapping介绍 类似数据库中的表结构定义，主要作用如下： 定义 index 下的字段名（Field name） 定义字段的类型，比如 数值型，字符串型，布尔型等 定义倒排索引的相关配置，比如是的索引、是否记录position 等 二、常用mapping 相关api 1、获取索引 mapping 请求：GET XXX-INDE...
7.4.5-elasticsearch索引字段类型参数
红笺小字
05-31 1475
norms、null_value、position_increment_gap、properties、search_analyzer、similarity、store、term_vector参数详细说明
elasticsearch之mapping field
2B铅笔水果橡皮
12-03 3138
Mapping定义了文档是如何被处理并存储在搜索引擎中的，包括可搜索的特点，比如哪些字段是可以被搜索的，字段是否被处理过，如何处理的等方面。es中，可以把文档分在不同的mapping type下。允许多个mapping的定义关联到一个mapping type。 显式的mapping可以定义在index级别或者是type级别。默认情况下，是不需要一个显式的mapping定义的，因为当一个新的typ
Elasticsearch中字段类型(Field Type)详解
aben_sky的专栏
10-11 1万+
ElasticSearch 7.7 字段类型(Field datatype)详解 字符串, object, 数值, 日期, 数组, 0x00 字符串: text,...
Elasticsearch 映射参数 fields
web13524385009的博客
08-16 231
处于不同的目的，通过不同的方法索引相同的字段通常非常有用。这也是多字段的目的。例如，一个字符串字段可以映射为text字段用于全文本搜索，也可以映射为keyword字段用于排序或聚合。对于相同索引中具有相同名称的字段，fields设置允许有不同的设置。可以使用PUT映射API将新的多字段添加到已存在的字段中。多字段的另一个应用场景是使用不同的方法分析相同的字段以求获得更好的相关性。note：city.raw字段是city字段的keyword版本。多字段不能修改原始_source字段。...
Elasticsearch的field类型。
BrotherDong90的专栏
11-11 5017
Elasticsearch中的域，可以理解为RDBMS中的字段，在创建mapping的时候需要指定类型。 type  类型，可以是boolean,long,double,date,string The datatype that the field contains, such as string or date index    是否进行索引，                    
Elasticsearch之Mapping Meta-Fields
LoveSummer
02-27 603
Meta-Fields 每个文档都有与之关联的元字段，例如_index、_type和 _id 元字段。 创建映射类型时，可以自定义其中一些元字段的行为。 Identity meta-fields（文档标示元字段） _index 文档所属的索引。 多索引查询时，有时候只需要在特地索引名上进行查询，_index字段提供了便利，也就是说可以对索引名进行term查询、terms查询、聚合分析、使用脚本和排...
ElasticSearch 中 FieldType 详解
书启鸿蒙知秋枫
05-10 1113
date 、float、long都是不能够被拆分的
《Elasticsearch:权威指南》Mapping -- Mapping parameters -- fields(multi-fields)
m0_45406092的博客
08-10 907
虽然原文名称是fields，单主要是描述multi-fields 文章目录fields（字段)Multi-fields with multiple analyzers（多分析器处理多字段） fields（字段) 我们经常会因为不同的目的将同一个字段用不同的方式索引。这就相当于实现了 multi-fields。例如，一个 string 类型字段可以被映射成 text 字段作为 full-text 进行搜索，同时也可以作为 keyword 字段用于排序和聚合： 为了解释上面的原文，我先举个自己的例子，这样对比就
Elasticsearch中的mapping与字段类型(Field Type)
aben_sky的专栏
10-10 1237
本文以ES7.7版本为基础. 推荐一个他人在用的基于nodejs的web管理界面: elasticsearch-head , 我仍然在用kibana...
【Elasticsearch】ES 7.11 映射字段类型汇总 Mapping Field data types
Code Metaverse
02-20 1865
映射字段类型汇总版本号映射字段类型常见类型binarybooleanKeywordsDatesalias对象和关系类型objectflattenednestedjoin结构化数据类型Rangeipversionmurmur3汇总数据类型aggregate_metric_doublehistogram文字搜索类型textannotated-textcompletionsearch_as_you_typetoken_count文档等级类型dense_vectorsparse_vectorrank_feature
elasticsearch mapping字段格式化
05-30
在 Elasticsearch 中，可以使用 Mapping 来定义索引中的字段格式。可以通过以下方式来定义字段格式： 1. 字段类型：定义字段的数据类型，例如 string、integer、float、date 等。 2. 分词器（analyzer）：定义字段的分词器，用于将文本分成单词。 3. 索引选项（index）：定义字段是否被索引，如果不索引则无法进行搜索。 4. 存储选项（store）：定义字段是否被存储，如果不存储则无法获取字段的值。 5. 多字段（multi-fields）：定义同一个字段的多种不同格式，用于不同的搜索需求。 下面是一个示例 Mapping 的格式： ``` PUT /my_index { "mappings": { "properties": { "title": { "type": "text", "analyzer": "standard", "index": true, "store": true, "fields": { "raw": { "type": "keyword" } } }, "price": { "type": "float", "index": true, "store": true }, "created_at": { "type": "date", "index": true, "store": true, "format": "yyyy-MM-dd HH:mm:ss" } } } } ``` 在上面的示例中，定义了三个字段：title、price 和 created_at。其中，title 字段使用 standard 分词器进行分词，同时定义了一个 raw 子字段，用于存储未经过分词器处理的原始值；price 字段定义为 float 类型；created_at 字段定义为 date 类型，并指定了日期格式。同时，所有字段都被索引和存储。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值