分析的过程:
1. 表计划一个文本块适用于倒排索引单独的词(term);
2.标准化这些词为标准形式,提高他们的“可搜索性” 或 “查全率”。
这些过程有分析器完成。
1、分析器
功能:
字符过滤器
首先字符串经过字符过滤器,它们的工作是在标记化前处理字符串。字符过滤器能够去除 HTML标记,或者转换 “&” 为 “and”。
分词器
下一步,字符串被分词器标记化成独立的词。一个简单的分词器可以根据空格或逗号将单词分开。
标记过滤
最后,每个词都通过所有标记过滤,它可以修改词(例如转小写),去掉词(例如停用词 “a”、“and”、“the”等等),或者增加词(例如同义词像 “jump” 和 “leap”)。
Elasticsearch 提供了很多开箱即用的字符过滤器,分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。
2、常用分析器
分析器对以下内容的分词差异:
"Set the shape to semi-transparent by calling set_trans(5)"
标准分析器
标准分析器是Elasticsearch默认使用的分析器。对于文本分析,它对于任何语言都是最佳选择(译者注:就是没啥特殊需求,对于任何一个国家的语言,这个分析器就够用了)。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本,然后去掉大部分标点符号。最后,把所有词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set_trans, 5
简单分析器
简单分析器将非单个字母的文本切分,然后把每个词转为小写。产生的结果为:
set, the, shape, to, semi, transparent, by, calling, set, trans
空格分析器
空格分析器依据空格切分文本。它不转换小写。产生结果为:
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
语言分析器
特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如,english
分析器自带一套英语停用词库——像and
或the
这些与语义无关的通用词。这些词被移除后,因为语法规则的存在,英语单词的主体含义依旧能被理解(译者注:stem English words
这句不知道该如何翻译,查了字典,我理解的大概意思应该是将英语语句比作一株植物,去掉无用的枝叶,主干依旧存在,停用词好比枝叶,存在与否并不影响对这句话的理解。)。
english
分析器将会产生以下结果:
set, shape, semi, transpar, call, set_tran, 5
3、当分析器被使用
当我们索引一个文档,全文字段(_all)会被分析为单独的词来创建倒排索引。当我们在全文字段搜索时,我们要让查询字符串经过同样的分析流程处理,以确保这些词在索引中存在。
- 当你查询全文字段,查询将使用相同的分析器来分析查询字符串,以产生正确的词列表。
- 当你查询一个确切值字段,查询将不分析查询字符串,但是你可以自己指定。
例如:
在索引中有12个tweets,只有一个包含日期2014-09-15
,但是我们看看下面查询中的total
hits。
GET /_search?q=2014 # 12 个结果
GET /_search?q=2014-09-15 # 还是 12 个结果 !
GET /_search?q=date:2014-09-15 # 1 一个结果
GET /_search?q=date:2014 # 0 个结果 !
为什么全日期的查询返回所有的tweets,而针对date
字段进行年度查询却什么都不返回? 为什么我们的结果因查询_all
字段(译者注:默认所有字段中进行查询)或date
字段而变得不同?
想必是因为我们的数据在_all
字段的索引方式和在date
字段的索引方式不同而导致。
当我们在_all
字段查询2014
,它一个匹配到12条推文,因为这些推文都包含词2014
:
GET /_search?q=2014 # 12 results
当我们在_all
字段中查询2014-09-15
,首先分析查询字符串,产生匹配任一词2014
、09
或15
的查询语句,它依旧匹配12个推文,因为它们都包含词2014
。
GET /_search?q=2014-09-15 # 12 results !
当我们在date
字段中查询2014-09-15
,它查询一个确切的日期,然后只找到一条推文:
GET /_search?q=date:2014-09-15 # 1 result
当我们在date
字段中查询2014
,没有找到文档,因为没有文档包含那个确切的日期:
GET /_search?q=date:2014 # 0 results !
4、测试分析器
查询指定使用的分析器如何分词:
GET /_analyze?analyzer=standard&text=Text to analyze
结果中每个节点在代表一个词:
{
"tokens": [
{
"token": "text",
"start_offset": 0,
"end_offset": 4,
"type": "<ALPHANUM>",
"position": 1
},
{
"token": "to",
"start_offset": 5,
"end_offset": 7,
"type": "<ALPHANUM>",
"position": 2
},
{
"token": "analyze",
"start_offset": 8,
"end_offset": 15,
"type": "<ALPHANUM>",
"position": 3
}
]
}
token
是一个实际被存储在索引中的词。position
指明词在原文本中是第几个出现的。start_offset
和end_offset
表示词在原文本中占据的位置。