elasticsearch mapping

翻译 2013年10月31日 16:09:15

es的mapping设置很关键,mapping设置不到位可能导致索引重建。如何更好的设置mapping?

请看下面各个类型介绍^_^

core types

每一个JSON字段可以被映射到一个特定的核心类型。JSON本身已经为我们提供了一些输入,支持stringinteger/longfloat/doubleboolean, and null.

下面的示例tweet的JSON文档将被用来解释核心类型:

{
   
"tweet" {
       
"user" : "kimchy"
       
"message" : "This is a tweet!",
       
"postDate" : "2009-11-15T14:12:12",
       
"priority" : 4,
       
"rank" : 12.3
   
}
}

可以显式映射为上面的JSON tweet:

{
   
"tweet" : {
       
"properties" : {
           
"user" : {"type" : "string", "index" : "not_analyzed"},
           
"message" : {"type" : "string", "null_value" : "na"},
           
"postDate" : {"type" : "date"},
           
"priority" : {"type" : "integer"},
           
"rank" : {"type" : "float"}
       
}
   
}
}

string

基于文本的字符串类型是最基本的类型,包含一个或多个字符。可以映射一个例子:

{
   
"tweet" : {
       
"properties" : {
           
"message" : {
               
"type" : "string",
               
"store" : "yes",
               
"index" : "analyzed",
               
"null_value" : "na"
           
}
       
}
   
}
}

上面的映射定义一个字符串消息属性/字段在tweet类型。字段存储在索引(所以它稍后可以被检索使用选择性加载搜索时),并得到分析(分解成可搜索条件)。如果该消息有一个空值,那么该值将被存储是na.

下表列出了所有的属性,可以使用字符串类型:

      Attribute                                                                 Description


  index_name                                   字段的名称,将存储在索引中。默认属性/字段名.   


   store                                            设置为yes来存储实际的字段索引,没有不存储它。默认为没                                                            有(注意,JSON文档本身是存储,可以从它检索)。


   index                                            为该领域设置为分析索引和搜索在被分解成令牌使用分析                                                              仪。不分析意味着其仍可搜索,但没有经过任何分析过程或分                                                          解为令牌。不意味着它不会搜索(作为一个单独字段,它可能仍                                                        然被包括在所有)。设置没有禁用包含在所有。默认为分析。 


  term_vector                                  可能的值是不,是的,与补偿,与职位,与位置偏移。默认为没                                                              有。


   boost                                            该boost的值,默认是1.0


   null_value                                   当有一个(JSON)null值的字段,可以使用null值的字段值。默认                                                        为不添加字段在所有。 


   omit_norms                                   布尔值如果规范应该省略或不是。默认值为假的分析领域,适                                                          用于不分析领域。


   omit_term_freq_and_positions   布尔值如果术语和位置应该忽略频率。默认值为假。弃用自                                                          0.20,看到指数期权。


   index_options                             自从0.20可用。允许设置索引选项,可能的值是文档(只有doc                                                          数字索引),freqs(doc数字和词的频率),和职位(doc数字,词的频                                                        率和位置)。默认位置分析领域,和文档中没有分析领域。因为                                                        0.90也可以设置偏移量(doc数字,词的频率,位置和补偿)。


   analyzer                                       这个分析仪用于分析文本内容分析时在索引和搜索时使用查                                                          询字符串。默认为全球配置分析仪。

  index_analyzer                            这个分析仪用于分析文本内容分析时在索引。                        


   search_analyzer                          这个分析仪用于分析场当一部分查询字符串。可以更新现有                                                          的字段。


   include_in_all                            应该被包括在这个领域的所有字段(如果启用)。如果索引设置                                                        为无默认值为false,否则,默认为true或父对象类型设置。

   ignore_above                                这个分析器将忽略字符串大于这个尺寸。用于通用不分析领                                                           域,应该忽略长文本。(因为@0.19.9)。

   position_offset_gap                   位置增量字段实例之间的差距与相同的字段名。默认值为0。

字符串类型也支持自定义索引参数相关的索引值。例如:

{
   
"message" : {
       
"_value":  "boosted value",
       
"_boost":  2.0
   
}
}

需要消除歧义的映射文档的含义。否则,该结构将解释“消息”作为“对象”类型的值。键值(或价值)在内部文档指定字符串内容,最终真正应该被编入索引。促进(或提高)键指定每个字段的文档增加(这里是2.0)。

number

许多类型的基础支持浮动,双,字节,短、整数和长。它使用特定的构造在Lucene为了支持数字值。数字类型有相同的范围作为相应的Java类型。一个例子可以映射:

{
   
"tweet" : {
       
"properties" : {
           
"rank" : {
               
"type" : "float",
               
"null_value" : 1.0
           
}
       
}
   
}
}

在这里多举几个常用的例子:

例1:当某一个字段要分词搜索, 则index就要设置相应的分词器,store设置为true

例2:当某一个字段要facet(分组统计),则必须设置这个字段为no_analyzerd(不分词);原因是字段不设置分词,默认是一元分词。

例3:搜索关键字相应分数,对一些排名算法有一定的帮助,可以为一些重要字段设置分值(boost)

例4:时间格式问题,es支持format时间格式。(format:yyyy-MM-dd HH:mm:ss.SSS)

……

本文出自 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-core-types.html#mapping-core-types




elasticsearch 处理空值

elasticsearch 处理空值 字数1239 阅读2725 评论0 喜欢2 源地址 考虑前面的例子,其中文档有一个称为 tags 的字段。这是一个多值字段。文档可以有一个、多个...
  • wangsht
  • wangsht
  • 2016年10月10日 11:21
  • 2963

elasticsearch中的mapping简介

最近项目准备用到elasticsearch, 首先需要搞清楚elasticsearch的一些概念,在网上发现这篇文章不错,以通俗易懂的语言讲明白了mapping的概念。 默认mapping elas...
  • lvhong84
  • lvhong84
  • 2014年04月17日 16:46
  • 53530

Elasticsearch实战系列-mapping 设置

本篇主要讲解Mapping的一些相关配置与需要注意的地方,说到Mapping大家可能觉得有些不解,其实我大体上可以将Elasticsearch理解为一个RDBMS(关系型数据库,比如MySQL),那么...
  • FX_SKY
  • FX_SKY
  • 2016年02月29日 17:49
  • 15357

Elasticsearch索引mapping的写入、查看与修改

mapping的写入与查看首先创建一个索引:curl -XPOST "http://127.0.0.1:9200/productindex" {"acknowledged":true} 现在只创建了...
  • napoay
  • napoay
  • 2016年07月24日 09:32
  • 34527

elasticsearch不使用analyzer

没有用到elasticsearch的全文搜索特性,反而它的分词给我带来很多困扰。比如一个字段是 Wang Dai 我想用正则表达式去匹配,却只能使用单个词的匹配比如W.*g或者D.*i 而不...

elasticsearch由于数据特别长而找不到数据

这是由于mapping中string类型中ignore_above长度的限制 ignore_above 对超过 ignore_above 的字符串,analyzer 不会进行处理;所以就不...

Elasticsearch 基础笔记

Elasticsearch是一个使用JAVA开发,基于Apache Lucene(TM)的开源搜索引擎。分布式的实时文件存储,每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器,...

ES mappings

参考:https://www.elastic.co/guide/en/elasticsearch/reference/5.1/dynamic-mapping.htmlMapping 是定义docume...
  • slml08
  • slml08
  • 2017年01月03日 10:41
  • 2818

Elasticsearch - 模式映射之核心类型

模式映射用于定义索引结构。在建立mapping映射时需要指定字段的类型,以下详细介绍mapping属性常见字段类型。每个字段类型可以指定为ElasticSearch中某个特定的核心类型。Elastic...

ElasticSearch5.0——_all字段

_all字段 _all字段是一个特殊的获得全部的字段,它连接其他所有字段的值到一个大的字符串当中,并用分隔符分开。该字段被索引和分词,但是不被存储。这就意味着他可以被搜索但是不能被获取。 _al...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:elasticsearch mapping
举报原因:
原因补充:

(最多只允许输入30个字)