极客ES03

倒排索引

一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。
https://www.elastic.co/guide/cn/elasticsearch/guide/cn/inverted-index.html

图书与搜索引擎的类比

• 图书

  • 正排索引 — 目录页
  • 倒排索引 — 索引页

• 搜索引擎

  • 正排索引 — 文档ID到文档内容和单词的关联
  • 倒排索引 — 单词到文档ID的关系

倒排索引的核心组成

倒排索引主要包括2个部分

• 单词词典（Term Dictionary）,纪录所有文档的单词，纪录单词到倒排列表的关系

单词词典一般比较大，可以通过B+树和哈希拉链法实现，以满足高性能的插入与查询

• 倒排列表（Posting List）,纪录单词对应的文档集合，由倒排索引项组成
  • 倒排索引项（Posting）
    • 文档ID
    • 词频TF - 该单词在文档中出现的次数，用于相关性评分
    • 位置（Position）- 单词在文档中分词的位置。用于语句搜索（phrase query）
    • 偏移（Offset）- 纪录单词的开始和结束位置，实现高亮显示

Elasticsearch中的倒排索引

• 一个倒排索引由文档中所有不重复词的列表构成
• ElasticSearch的JSON文档中的每个字段，都参与了倒排索引
• 可以指定某些字段不做倒排索引
  • 优点：节省存储空间
  • 缺点：字段无法被搜索

使用分析器进行分词

1.Analyzer的组成

• Character Filters

首先，字符串按顺序通过每个 字符过滤器 。他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉HTML，或者将 & 转化成 and。

• Tokenizer

按照规则切分单词

• Token Filter

将切分的单词进行加工，小写，删除stopwords,增加同义词等

2.常用的内置分词器

以这句话为例进行分析

“Set the shape to semi-transparent by calling set_trans(5)”

标准分析器

标准分析器是Elasticsearch默认使用的分析器。它是分析各种语言文本最常用的选择。它根据 Unicode 联盟 定义的 单词边界 划分文本。删除绝大部分标点。最后，将词条小写。它会产生

set, the, shape, to, semi, transparent, by, calling, set_trans, 5

简单分析器

简单分析器在任何不是字母的地方分隔文本，将词条小写。它会产生

set, the, shape, to, semi, transparent, by, calling, set, trans

空格分析器

空格分析器在空格的地方划分文本。它会产生

Set, the, shape, to, semi-transparent, by, calling, set_trans(5)

语言分析器

特定语言分析器可用于 很多语言。它们可以考虑指定语言的特点。例如， 英语 分析器附带了一组英语无用词（常用单词，例如 and 或者 the ，它们对相关性没有多少影响），它们会被删除。 由于理解英语语法的规则，这个分词器可以提取英语单词的 词干 。

英语 分词器会产生下面的词条：

set, shape, semi, transpar, call, set_tran, 5

注意看 transparent、calling 和 set_trans 已经变为词根格式。

使用_analyzer API

#standard
GET _analyze
{
  "analyzer": "standard",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

见课程Demo

中文分词

ICU分析器

ik分词器 https://github.com/medcl/elasticsearch-analysis-ik

课程Demo

#Simple Analyzer – 按照非字母切分（符号被过滤），小写处理
#Stop Analyzer – 小写处理，停用词过滤（the，a，is）
#Whitespace Analyzer – 按照空格切分，不转小写
#Keyword Analyzer – 不分词，直接将输入当作输出
#Patter Analyzer – 正则表达式，默认 \W+ (非字符分隔)
#Language – 提供了30多种常见语言的分词器
#2 running Quick brown-foxes leap over lazy dogs in the summer evening

#查看不同的analyzer的效果
#standard
GET _analyze
{
  "analyzer": "standard",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#simpe
GET _analyze
{
  "analyzer": "simple",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}


GET _analyze
{
  "analyzer": "stop",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}


#stop
GET _analyze
{
  "analyzer": "whitespace",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#keyword
GET _analyze
{
  "analyzer": "keyword",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

GET _analyze
{
  "analyzer": "pattern",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}


#english
GET _analyze
{
  "analyzer": "english",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}


POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "他说的确实在理”"
}


POST _analyze
{
  "analyzer": "standard",
  "text": "他说的确实在理”"
}


POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "这个苹果不大好吃"
}

相关阅读

• https://www.elastic.co/guide/en/elasticsearch/reference/7.1/indices-analyze.html
• https://www.elastic.co/guide/en/elasticsearch/reference/current/analyzer-anatomy.html