在ElasticSearch中,存入文档的内容类似于传统数据每个字段一样,都会有一个指定的属性,为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成字符串值,Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储(包含)在映射(mapping)中。
核心简单字段类型
Elasticsearch支持以下简单字段类型:
- String:string(弃用), text, keyword(ElasticSearch 5.0开始支持,先以string介绍,后面再介绍新类型)
- Whole number:byte, short, integer, long
- Floating-point:float, double
- Boolean:boolean
- Date:date
当你索引一个包含新字段的文档——一个之前没有的字段——Elasticsearch将使用动态映射猜测字段类型,这类型来自于JSON的基本数据类型,使用以下规则:
注意:这意味着,如果你索引一个带引号的数字——"123",它将被映射为"string"类型,而不是"long"类型。然而,如果字段已经被映射为"long"类型,Elasticsearch将尝试转换字符串为long,并在转换失败时会抛出异常。
查看映射
我们可以使用_mapping
后缀来查看Elasticsearch中的映射。在本章开始我们已经找到索引blogs
类型dc
中的映射:
GET /blogs/_mapping/doc
这展示给了我们字段的映射(叫做属性(properties)),这些映射是Elasticsearch在创建索引时动态生成的:
上面的结果是在Elasticsearch 5.0.2上运行的,我们先不用在意text
属性的具体内容,只需要知道字符串被自动的映射成text
属性,而在Elasticsearch 5之前的版本中应该是string
。
确切值vs全文
可能在数据库中的习惯,只需要确定每个字段的类型即可,但是在Elasticsearch中每种字段的都有不同的索引处理方式。
Elasticsearch为对字段类型进行猜测,动态生成了字段和类型的映射关系。返回的信息显示了date字段被识别为date类型。_all因为是默认字段所以没有在此显示,不过我们知道它是string(text)类型。Elasticsearch对每一种核心数据类型(string, number, boolean及date)以不同的方式进行索引。
但是更大的区别在于确切值(exact values)(比如string类型)及全文文本(full text)之间。这两者的区别才真的很重要 - 这是区分搜索引擎和其他数据库的根本差异。
Elasticsearch中的数据可以大致分为两种类型:
确切值 及 全文文本。
确切值:是确定的,正如它的名字一样。比如一个date或用户ID,也可以包含更多的字符串比如username或email地址。
确切值"Foo"和"foo"就并不相同。确切值2014和2014-09-15也不相同。
全文文本:从另一个角度来说是文本化的数据(常常以人类的语言书写),比如一篇推文(Twitter的文章)或邮件正文。
确切值是很容易查询的,因为结果是二进制的 -- 要么匹配,要么不匹配。下面的查询很容易以SQL表达:
WHERE name = "John Smith"
AND user_id = 2
AND date > "2014-09-15"
而对于全文数据的查询来说,却有些微妙。我们不会去询问这篇文档是否匹配查询要求?。但是,我们会询问这篇文档和查询的匹配程度如何?。换句话说,对于查询条件,这篇文档的_相关性_有多高?
我们很少确切的匹配整个全文文本。我们想在全文中查询包含查询文本的部分。不仅如此,我们还期望搜索引擎能理解我们的意图:(由此引出了Elasticsearch提供了很好的相关性查询,并以匹配度排序。)
- 一个针对"UK"的查询将返回涉及"United Kingdom"的文档
- 一个针对"jump"的查询同时能够匹配"jumped", "jumps", "jumping"甚至"leap"
- "johnny walker"也能匹配"Johnnie Walker", "johnnie depp"及"Johnny Depp"
- "fox news hunting"能返回有关hunting on Fox News的故事,而"fox hunting news"也能返回关于fox hunting的新闻故事。
为了方便在全文文本字段中进行这些类型的查询,Elasticsearch首先对文本分析(analyzes),然后使用结果建立一个倒排索引。
倒排索引
Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表,以及对于每个单词在文档中的位置组成。
例如,我们有两个文档,每个文档content字段包含:
- The quick brown fox jumped over the lazy dog
- Quick brown foxes leap over lazy dogs in summer
为了创建倒排索引,我们首先切分每个文档的content字段为单独的单词(我们把它们叫做词(terms)或者表征(tokens)),把所有的唯一词放入列表并排序,结果是这个样子的:
现在,如果我们想搜索"quick brown",我们只需要找到每个词在哪个文档中出现即可:
两个文档都匹配,但是第一个比第二个有更多的匹配项。 如果我们加入简单的相似度算法(similarity algorithm),计算匹配单词的数目,这样我们就可以说第一个文档比第二个匹配度更高——对于我们的查询具有更多相关性。
但是在我们的倒排索引中还有些问题:
- "Quick"和"quick"被认为是不同的单词,但是用户可能认为它们是相同的。
- "fox"和"foxes"很相似,就像"dog"和"dogs"——它们都是同根词。
- "jumped"和"leap"不是同根词,但意思相似——它们是同义词。
上面的索引中,搜索"+Quick +fox"不会匹配任何文档(记住,前缀+表示单词必须匹配到)。只有"Quick"和"fox"都在同一文档中才可以匹配查询,但是第一个文档包含"quick fox"且第二个文档包含"Quick foxes"。(就是单复数和同义词没法匹配,必须完全匹配。)
用户可以合理地希望两个文档都能匹配查询,我们也可以做得更好。如果我们将词为统一为标准格式,这样就可以找到不是确切匹配查询,但是足以相似从而可以关联的文档。例如:
- "Quick"可以转为小写成为"quick"。
- "foxes"可以被转为根形式"fox"。同理"dogs"可以被转为"dog"。
- "jumped"和"leap"同义就可以只索引为单个词"jump"
现在的索引:
但我们还未成功。我们的搜索"+Quick +fox"依旧失败,因为"Quick"的确切值已经不在索引里,不过,如果我们使用相同的标准化规则处理查询字符串的content字段,查询将变成"+quick +fox",这样就可以匹配到两个文档。
重要:我们只可以找到确实存在于索引中的词,所以索引文本和查询字符串都要标准化为相同的形式。而这个标记化和标准化的过程叫做分词(analysis)。
分析和分析器
分析(analysis)是这样一个过程:
- 首先,标记化一个文本块为适用于倒排索引单独的词(term)。
- 然后标准化这些词为标准形式,提高它们的“可搜索性”或“查全率”。
这个工作是分析器(analyzer)完成的。一个分析器(analyzer)包含三个功能:
字符过滤器
首先字符串经过字符过滤器(character filter),它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记,或者转换"&"为"and"。
分词器
下一步,分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开(这个在中文中不适用)。
标记过滤
最后,每个词都通过所有标记过滤(token filters),它可以修改词(例如将"Quick"转为小写),去掉词(例如停用词像"a"、"and"、"the"等等),或者增加词(例如同义词像"jump"和"leap")。
Elasticsearch提供很多开箱即用的字符过滤器,分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。
内建的分析器
不过,Elasticsearch还附带了一些预装的分析器,你可以直接使用它们。下面我们列出了最重要的几个分析器,来演示这个字符串分词后的表现差异:
"Set the shape to semi-transparent by calling set_trans(5)"
标准分析器
标准分析器是Elasticsearch默认使用的分析器。对于文本分析,它对于任何语言都是最佳选择(没特殊需求,对于任何一个国家的语言,这个分析器就够用了)。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本,然后去掉大部分标点符号。最后,把所有词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set_trans, 5
Unicode:是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。
简单分析器
简单分析器将非单个字母的文本切分,然后把每个词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set, trans
空格分析器
空格分析器依据空格切分文本。它不转换小写。产生结果为:
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
语言分析器
特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如,english
分析器自带一套英语停用词库——像and或the这些与语义无关的通用词。这些词被移除后,因为语法规则的存在,提取出词根,英语单词的主体含义依旧能被理解。english
分析器将会产生以下结果:
set, shape, semi, transpar, call, set_tran, 5
测试分析器
对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行,可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器,被分析的文本做为请求体:
GET /_analyze?analyzer=standard&text=Text to analyze
结果中每个节点在代表一个词:
{
"tokens": [
{
"token": "text",
"start_offset": 0,
"end_offset": 4,
"type": "<ALPHANUM>",
"position": 1
},
{
"token": "to",
"start_offset": 5,
"end_offset": 7,
"type": "<ALPHANUM>",
"position": 2
},
{
"token": "analyze",
"start_offset": 8,
"end_offset": 15,
"type": "<ALPHANUM>",
"position": 3
}
]
}
token
是一个实际被存储在索引中的词。position
指明词在原文本中是第几个出现的。start_offset
和end_offset
表示词在原文本中占据的位置。
当分析器被使用
当我们索引(index)一个文档,全文字段会被分析为单独的词来创建倒排索引。不过,当我们在全文字段搜索(search)时,我们要让查询字符串经过同样的分析流程处理,以确保这些词在索引中存在。
- 当你查询全文(full text)字段(被分析过的文本),查询将使用相同的分析器来分析查询字符串,以产生正确的词列表。
- 当你查询一个确切值(exact value)字段,查询将不分析查询字符串,但是你可以自己指定。
典型的例子
在索引中有12个tweets
,只有一个包含日期2014-09-15,但是我们看看下面查询中的结果total。
GET /_search?q=2014 # 12 个结果
GET /_search?q=2014-09-15 # 还是 12 个结果 !
GET /_search?q=date:2014-09-15 # 1 一个结果
GET /_search?q=date:2014 # 0 个结果 !
为什么全日期的查询返回所有的tweets,而针对date字段进行年度查询却什么都不返回? 为什么我们的结果因查询_all
字段(默认所有字段中进行查询)或date
字段而变得不同?(如果看不懂简单查询,可以查看ElasticSearch 5学习(4)——简单搜索笔记)。
让我们看看Elasticsearch在对gb
索引中的tweet
类型进行mapping
。
注意:还是一样的,如果是Elasticsearch 5.0之前版本的text
将会是string
类型。
现在我们来看为什么会产生这样的结果:
date
字段包含一个确切值:单独的一个词"2014-09-15"。_all
字段是一个全文字段,所以分析过程将日期转为三个词:"2014"、"09"和"15"。
当我们在_all
字段查询2014,它一个匹配到12条推文,因为这些推文都包含词2014。
当我们在_all
字段中查询2014-09-15,首先分析查询字符串,产生匹配任一词2014、09或15的查询语句,它依旧匹配12个推文,因为它们都包含词2014。
当我们在date
字段中查询2014-09-15,它查询一个确切的日期,然后只找到一条推文。
当我们在date
字段中查询2014,没有找到文档,因为没有文档包含那个确切的日期。
指定分析器
当Elasticsearch在你的文档中探测到一个新的字符串字段,它将自动设置它为全文string
(弃用)字段并用standard
分析器分析。
你不可能总是想要这样做。也许你想使用一个更适合这个数据的语言分析器。或者,你只想把字符串字段当作一个普通的字段——不做任何分析,只存储确切值,就像字符串类型的用户ID或者内部状态字段或者标签。
为了达到这种效果,我们必须通过映射(mapping)人工设置这些字段。
自定义字段映射
虽然大多数情况下基本数据类型已经能够满足,但你也会经常需要自定义一些特殊类型(fields),特别是字符串字段类型。 自定义类型可以使你完成一下几点:
- 区分全文(full text)字符串字段和准确字符串字段(译者注:就是分词与不分词,全文的一般要分词,准确的就不需要分词,比如『中国』这个词。全文会分成『中』和『国』,但作为一个国家标识的时候我们是不需要分词的,所以它就应该是一个准确的字符串字段)。
- 使用特定语言的分析器(例如中文、英文、阿拉伯语,不同文字的断字、断词方式的差异)
- 优化部分匹配字段
- 等等
映射中最重要的字段参数是type
。除了string
(弃用)类型的字段,你可能很少需要映射其他的type
(因为一般情况下,Elasticsearch自动帮我们映射的类型都能满足我们需求):
{
"number_of_clicks": {
"type": "integer"
}
}
string
(弃用)类型的字段,默认的,考虑到包含全文本,它们的值在索引前要经过分析器分析,并且在全文搜索此字段前要把查询语句做分析处理。
对于string
(弃用)字段,两个最重要的映射参数是index
和analyer
。
index
index参数控制字符串以何种方式被索引。它包含以下三个值当中的一个:
analyzed:首先分析这个字符串,然后索引。换言之,以全文形式索引此字段。
not_analyzed:索引这个字段,使之可以被搜索,但是索引内容和指定值一样。不分析此字段。
no:不索引这个字段。这个字段不能为搜索到。
string
类型字段默认值是analyzed
。如果我们想映射字段为确切值,我们需要设置它为not_analyzed
:
{
"tag": {
"type": "string",
"index": "not_analyzed"
}
}
注意:其他简单类型(long、double、date等等)也接受index参数,但相应的值只能是no
和not_analyzed
,它们的值不能被分析。
analyer
对于analyzed
类型的字符串字段,使用analyzer
参数来指定哪一种分析器将在搜索和索引的时候使用。默认的,Elasticsearch使用standard
分析器,但是你可以通过指定一个内建的分析器来更改它,例如whitespace
、simple
或english
。
{
"tweet": {
"type": "string",
"analyzer": "english"
}
}
更新映射
你可以在第一次创建索引的时候指定映射的类型。此外,你也可以晚些时候为新类型添加映射(或者为已有的类型更新映射)。
重要:你可以向已有映射中增加字段,但你不能修改它。如果一个字段在映射中已经存在,这可能意味着那个字段的数据已经被索引。如果你改变了字段映射,那已经被索引的数据将错误并且不能被正确的搜索到。
我们可以更新一个映射来增加一个新字段,但是不能把已有字段的类型那个从analyzed
改到not_analyzed
。
为了演示两个指定的映射方法,让我们首先删除索引gb
:
DELETE /gb
然后创建一个新索引,指定tweet
字段的分析器为english
:
PUT /gb
{
"mappings": {
"tweet" : {
"properties" : {
"tweet" : {
"type" : "string",
"analyzer": "english"
},
"date" : {
"type" : "date"
},
"name" : {
"type" : "string"
},
"user_id" : {
"type" : "long"
}
}
}
}
}
再后来,我们决定在tweet
的映射中增加一个新的not_analyzed
类型的文本字段,叫做tag
,使用_mapping
后缀:
PUT /gb/_mapping/tweet
{
"properties" : {
"tag" : {
"type" : "string",
"index": "not_analyzed"
}
}
}
注意到我们不再需要列出所有的已经存在的字段,因为我们没法修改他们。我们的新字段已经被合并至存在的那个映射中。
测试映射
你可以通过名字使用analyze
API测试字符串字段的映射。对比这两个请求的输出:
GET /gb/_analyze?field=tweet&text=Black-cats
GET /gb/_analyze?field=tag&text=Black-cats
tweet
字段产生两个词,"black"和"cat",tag
字段产生单独的一个词"Black-cats"。换言之,我们的映射工作正常。
Elasticsearch 5.0及之前
前面很多次提到string
在Elasticsearch 5.0开始被废弃,取而代之的是text
和keyword
两种类型,是不是很奇怪?不过如果你已经理解前面string
的两种处理方式(全文和精确值),你就很快可以理解:
- text:类似于全文形式,包括被分析。
- keyword:属于字符串类型的精确搜索。
除了将string分成两个类型处理,其他主要的设置和使用基本相同,具体可以查看https://www.elastic.co/guide/en/elasticsearch/reference/5.0/string.html
转载请注明出处。
作者:wuxiwei
出处:http://www.cnblogs.com/wxw16/p/6195284.html