elasticsearch mapping

翻译 2013年10月31日 16:09:15

es的mapping设置很关键,mapping设置不到位可能导致索引重建。如何更好的设置mapping?

请看下面各个类型介绍^_^

core types

每一个JSON字段可以被映射到一个特定的核心类型。JSON本身已经为我们提供了一些输入,支持stringinteger/longfloat/doubleboolean, and null.

下面的示例tweet的JSON文档将被用来解释核心类型:

{
   
"tweet" {
       
"user" : "kimchy"
       
"message" : "This is a tweet!",
       
"postDate" : "2009-11-15T14:12:12",
       
"priority" : 4,
       
"rank" : 12.3
   
}
}

可以显式映射为上面的JSON tweet:

{
   
"tweet" : {
       
"properties" : {
           
"user" : {"type" : "string", "index" : "not_analyzed"},
           
"message" : {"type" : "string", "null_value" : "na"},
           
"postDate" : {"type" : "date"},
           
"priority" : {"type" : "integer"},
           
"rank" : {"type" : "float"}
       
}
   
}
}

string

基于文本的字符串类型是最基本的类型,包含一个或多个字符。可以映射一个例子:

{
   
"tweet" : {
       
"properties" : {
           
"message" : {
               
"type" : "string",
               
"store" : "yes",
               
"index" : "analyzed",
               
"null_value" : "na"
           
}
       
}
   
}
}

上面的映射定义一个字符串消息属性/字段在tweet类型。字段存储在索引(所以它稍后可以被检索使用选择性加载搜索时),并得到分析(分解成可搜索条件)。如果该消息有一个空值,那么该值将被存储是na.

下表列出了所有的属性,可以使用字符串类型:

      Attribute                                                                 Description


  index_name                                   字段的名称,将存储在索引中。默认属性/字段名.   


   store                                            设置为yes来存储实际的字段索引,没有不存储它。默认为没                                                            有(注意,JSON文档本身是存储,可以从它检索)。


   index                                            为该领域设置为分析索引和搜索在被分解成令牌使用分析                                                              仪。不分析意味着其仍可搜索,但没有经过任何分析过程或分                                                          解为令牌。不意味着它不会搜索(作为一个单独字段,它可能仍                                                        然被包括在所有)。设置没有禁用包含在所有。默认为分析。 


  term_vector                                  可能的值是不,是的,与补偿,与职位,与位置偏移。默认为没                                                              有。


   boost                                            该boost的值,默认是1.0


   null_value                                   当有一个(JSON)null值的字段,可以使用null值的字段值。默认                                                        为不添加字段在所有。 


   omit_norms                                   布尔值如果规范应该省略或不是。默认值为假的分析领域,适                                                          用于不分析领域。


   omit_term_freq_and_positions   布尔值如果术语和位置应该忽略频率。默认值为假。弃用自                                                          0.20,看到指数期权。


   index_options                             自从0.20可用。允许设置索引选项,可能的值是文档(只有doc                                                          数字索引),freqs(doc数字和词的频率),和职位(doc数字,词的频                                                        率和位置)。默认位置分析领域,和文档中没有分析领域。因为                                                        0.90也可以设置偏移量(doc数字,词的频率,位置和补偿)。


   analyzer                                       这个分析仪用于分析文本内容分析时在索引和搜索时使用查                                                          询字符串。默认为全球配置分析仪。

  index_analyzer                            这个分析仪用于分析文本内容分析时在索引。                        


   search_analyzer                          这个分析仪用于分析场当一部分查询字符串。可以更新现有                                                          的字段。


   include_in_all                            应该被包括在这个领域的所有字段(如果启用)。如果索引设置                                                        为无默认值为false,否则,默认为true或父对象类型设置。

   ignore_above                                这个分析器将忽略字符串大于这个尺寸。用于通用不分析领                                                           域,应该忽略长文本。(因为@0.19.9)。

   position_offset_gap                   位置增量字段实例之间的差距与相同的字段名。默认值为0。

字符串类型也支持自定义索引参数相关的索引值。例如:

{
   
"message" : {
       
"_value":  "boosted value",
       
"_boost":  2.0
   
}
}

需要消除歧义的映射文档的含义。否则,该结构将解释“消息”作为“对象”类型的值。键值(或价值)在内部文档指定字符串内容,最终真正应该被编入索引。促进(或提高)键指定每个字段的文档增加(这里是2.0)。

number

许多类型的基础支持浮动,双,字节,短、整数和长。它使用特定的构造在Lucene为了支持数字值。数字类型有相同的范围作为相应的Java类型。一个例子可以映射:

{
   
"tweet" : {
       
"properties" : {
           
"rank" : {
               
"type" : "float",
               
"null_value" : 1.0
           
}
       
}
   
}
}

在这里多举几个常用的例子:

例1:当某一个字段要分词搜索, 则index就要设置相应的分词器,store设置为true

例2:当某一个字段要facet(分组统计),则必须设置这个字段为no_analyzerd(不分词);原因是字段不设置分词,默认是一元分词。

例3:搜索关键字相应分数,对一些排名算法有一定的帮助,可以为一些重要字段设置分值(boost)

例4:时间格式问题,es支持format时间格式。(format:yyyy-MM-dd HH:mm:ss.SSS)

……

本文出自 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-core-types.html#mapping-core-types




elasticsearch 处理空值

elasticsearch 处理空值 字数1239 阅读2725 评论0 喜欢2 源地址 考虑前面的例子,其中文档有一个称为 tags 的字段。这是一个多值字段。文档可以有一个、多个...
  • wangsht
  • wangsht
  • 2016年10月10日 11:21
  • 3585

Elasticsearch - 模式映射之核心类型

模式映射用于定义索引结构。在建立mapping映射时需要指定字段的类型,以下详细介绍mapping属性常见字段类型。每个字段类型可以指定为ElasticSearch中某个特定的核心类型。Elastic...
  • xifeijian
  • xifeijian
  • 2016年04月07日 13:11
  • 9118

Elasticsearch之映射(mapping)。

博文中的内容来源《Elasticsearch权威指南(中文版)》这一本书,感激不尽。
  • en_joker
  • en_joker
  • 2017年09月16日 15:19
  • 386

Elasticsearch实战系列-mapping 设置

本篇主要讲解Mapping的一些相关配置与需要注意的地方,说到Mapping大家可能觉得有些不解,其实我大体上可以将Elasticsearch理解为一个RDBMS(关系型数据库,比如MySQL),那么...
  • FX_SKY
  • FX_SKY
  • 2016年02月29日 17:49
  • 17183

elasticsearch中的字段类型/mapping参数

查看表结构的定义  GET /testindex/_mapping  GET /testindex/testtable/_mapping (一)核心数据类型: (1)string: 默...
  • ntc10095
  • ntc10095
  • 2017年06月25日 23:46
  • 1654

Elasticsearch - 自定义分析器

全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器), 这些Token会被进一步处理, 比如转成小写等, 这些处理算法被...
  • xifeijian
  • xifeijian
  • 2016年04月16日 12:18
  • 18073

ElasticSearch 解析机制常见用法库 之 analyzer常用用法

写ElasticSearch的搜索Schema是一件让人头疼的事儿,看着满屏的“特殊字符”(例如:“keyword”、“nGram”等等)有种想吐的感觉:为何这么定义?定义了是什么意思?有什么效果? ...
  • i6448038
  • i6448038
  • 2016年05月31日 19:19
  • 5327

elasticsearch不使用analyzer

没有用到elasticsearch的全文搜索特性,反而它的分词给我带来很多困扰。比如一个字段是 Wang Dai 我想用正则表达式去匹配,却只能使用单个词的匹配比如W.*g或者D.*i 而不...
  • asd131531
  • asd131531
  • 2015年01月05日 02:42
  • 4103

elasticsearch中template介绍

template中规定了数据的存储格式、分片数量等信息,下边是一个elasticsearch中template例子: http://192.168.1.215:9200/_template/co...
  • fisherman_hj
  • fisherman_hj
  • 2013年11月05日 12:43
  • 6914

ES maping 学习笔记

ES maping 学习笔记
  • yesicatt
  • yesicatt
  • 2016年11月29日 16:42
  • 1858
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:elasticsearch mapping
举报原因:
原因补充:

(最多只允许输入30个字)