有道云笔记:http://note.youdao.com/noteshare?id=ebcd395028460a105f45f79e4e5ac7cd
映射(mapping)机制用于进行字段类型确认,将每个字段匹配为一种确定的数据类型
( string , number , booleans , date 等)。
分析(analysis)机制用于进行全文文本(Full Text)的分词,以建立供搜索用的反向索引。
就我的理解来说,映射通过类型猜测实现了传统关系数据库的数据类型存储问题。这里的好处很多,确定不同的数据类型有利于存储时选择对应的数据结构,精准查询时性能也会更高。分析机制即es独有的倒排索引实现的全文检索。两者相辅相成。
分析和分析器
分析(analysis)是这样一个过程:
首先,标记化一个文本块为适用于倒排索引单独的词(term)
然后标准化这些词为标准形式,提高它们的“可搜索性”或“查全率”
这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放
到一个包里:
字符过滤器
首先字符串经过字符过滤器(character filter),它们的工作是在标记化前处理字符串。字符过
滤器能够去除HTML标记,或者转换 "&" 为 "and" 。
分词器
下一步,分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空
格或逗号将单词分开(译者注:这个在中文中不适用)。
标记过滤
最后,每个词都通过所有标记过滤(token filters),它可以修改词(例如将 "Quick" 转为小
写),去掉词(例如停用词像 "a" 、 "and" 、 "the" 等等),或者增加词(例如同义词
像 "jump" 和 "leap" )
Elasticsearch提供很多开箱即用的字符过滤器,分词器和标记过滤器。这些可以组合来创建
自定义的分析器以应对不同的需求。我们将在《自定义分析器》章节详细讨论。
内建的分析器
不过,Elasticsearch还附带了一些预装的分析器,你可以直接使用它们。下面我们列出了最
重要的几个分析器,来演示这个字符串分词后的表现差异:
"Set the shape to semi-transparent by calling set_trans(5)"
标准分析器
Elasticsearch权威指南(中文版)
分析
113标准分析器是Elasticsearch默认使用的分析器。对于文本分析,它对于任何语言都是最佳选
择(译者注:就是没啥特殊需求,对于任何一个国家的语言,这个分析器就够用了)。它根
据Unicode Consortium的定义的单词边界(word boundaries)来切分文本,然后去掉大部分标
点符号。最后,把所有词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set_trans, 5
简单分析器
简单分析器将非单个字母的文本切分,然后把每个词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set, trans
空格分析器
空格分析器依据空格切分文本。它不转换小写。产生结果为:
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
语言分析器
特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如, english 分析器
自带一套英语停用词库——像 and 或 the 这些与语义无关的通用词。这些词被移除后,因为
语法规则的存在,英语单词的主体含义依旧能被理解(译者注: stem English words 这句不
知道该如何翻译,查了字典,我理解的大概意思应该是将英语语句比作一株植物,去掉无用
的枝叶,主干依旧存在,停用词好比枝叶,存在与否并不影响对这句话的理解。)。
english 分析器将会产生以下结果:
set, shape, semi, transpar, call, set_tran, 5
注意 "transparent" 、 "calling" 和 "set_trans" 是如何转为词干的。
当分析器被使用
当我们索引(index)一个文档,全文字段会被分析为单独的词来创建倒排索引。不过,当我们
在全文字段搜索(search)时,我们要让查询字符串经过同样的分析流程处理,以确保这些词在
索引中存在。
全文查询我们将在稍后讨论,理解每个字段是如何定义的,这样才可以让它们做正确的事:
Elasticsearch权威指南(中文版)
分析
114当你查询全文(full text)字段,查询将使用相同的分析器来分析查询字符串,以产生正确
的词列表。
当你查询一个确切值(exact value)字段,查询将不分析查询字符串,但是你可以自己指
定。
现在你可以明白为什么《映射和分析》的开头会产生那种结果:
date 字段包含一个确切值:单独的一个词 "2014-09-15" 。
_all 字段是一个全文字段,所以分析过程将日期转为三个
词: "2014" 、 "09" 和 "15" 。
当我们在 _all 字段查询 2014 ,它一个匹配到12条推文,因为这些推文都包含词 2014 :
GET /_search?q=2014 # 12 results
当我们在 _all 字段中查询 2014-09-15 ,首先分析查询字符串,产生匹配任一
词 2014 、 09 或 15 的查询语句,它依旧匹配12个推文,因为它们都包含词 2014 。
GET /_search?q=2014-09-15 # 12 results !
当我们在 date 字段中查询 2014-09-15 ,它查询一个确切的日期,然后只找到一条推文:
GET /_search?q=date:2014-09-15 # 1 result
当我们在 date 字段中查询 2014 ,没有找到文档,因为没有文档包含那个确切的日期:
GET /_search?q=date:2014 # 0 results !
对于中文来说,需要和英文截然不同的分词器。这个在后面会提到。
映射
注意
这意味着,如果你索引一个带引号的数字—— "123" ,它将被映射为 "string" 类型,而
不是 "long" 类型。然而,如果字段已经被映射为 "long" 类型,Elasticsearch将尝试转
换字符串为long,并在转换失败时会抛出异常。
复合核心字段类型
1.数组:取第一个数据类型。
2.空值会存空值,null,"",[]各种空值都会变成空字段来存储
3.多层对象会通过加 . 来扁平化处理