elasticsearch倒排索引、Analyzer分词

倒排索引

正排索引（通过id查找到相应内容）

文档ID	文档内容
1	Elasticsearch Client
2	Elasticsearch Server
3	Learn Elasticsearch

倒排索引（通过内容分词，反向查找到文档Id）

Term	Count	DocumentId:Position
Elasticsearch	3	1:0，2:0，3:1
Client	1	1:1
Server	1	2:1
Learn	1	3:0

倒排索引包含两个部分
1、单词词典（Term Dictionary），记录所有文档的单词，记录单词到倒排列表的关联关系，单词词典一般比较大，可通过B+树或哈希拉链法实现，以满足高性能的插入与查询
2、倒排列表（Posting List），记录了单词对应的文档结合，倒排索引项组成，倒排索引项（Posting）包含：文档ID，词频TF（单词在文档出现的次数，相关性评分），位置Position（单词在文档中的分词位置，用户语句搜索），偏移Offset（记录单词的开始结束位置，实现高亮）

Elasticsearch的JSON文档中每个字段都有自己的倒排索引，可以指定某些字段不做索引。

Analysis与Analyzer

Analysis是把全文本转换为一系列单词的过程，也叫分词
Analysis是通过Analyzer(分词器)来实现的
Analyzer分词器是专门处理分词的组件，由三部分组成
Character Filters：针对原始文本做处理，去除html标签，字符替换，正则匹配
Tokenizer：按照一定规则把字符串切分为词，如空格、逗号等
Token Filters：将Tokenizer切分后的单词进行二次加工，如字母大小写转换，去除停用词，增加近义词等

Token Filters内置：HTML strip(去除html标签)，Mapping（字符替换），Pattern replace（正则匹配替换）
Tokenizer内置：whitespace（按空格进行分词）、standard、uax_url_email、pattern、keyword、path hierarchy，可以用Java开发插件实现自定义Tokenizer
Token Filters内置：lowercase、stop、synonym

Elasticsearch内置分词器

Standard Analyzer – 默认分词器，按词切分，小写处理
Simple Analyzer – 按照非字母切分（符号被过滤），小写处理
Stop Analyzer – 小写处理，停用词过滤（the，a，is）
Whitespace Analyzer – 按照空格切分，不转小写
Keyword Analyzer – 不分词，直接将输入当作输出
Patter Analyzer – 正则表达式，默认 \W+ (非字符分隔)
Language – 提供了30多种常见语言的分词器
Customer Analyzer 自定义分词器

#使用_analyze API查看不同的analyzer的效果
#standard
GET _analyze
{
  "analyzer": "standard",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#simpe
GET _analyze
{
  "analyzer": "simple",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

GET _analyze
{
  "analyzer": "stop",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#stop
GET _analyze
{
  "analyzer": "whitespace",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#keyword
GET _analyze
{
  "analyzer": "keyword",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

GET _analyze
{
  "analyzer": "pattern",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

#english
GET _analyze
{
  "analyzer": "english",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "他说的确实在理”"
}

POST _analyze
{
  "analyzer": "standard",
  "text": "他说的确实在理”"
}

POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "这个苹果不大好吃"
}

icu_analyzer分词器需要安装analysis-icu插件，更好的支持中文
Elasticsearch容器中执行：Elasticsearch-plugin install analysis-icu
其他更多中文分词器：
IK：支持自定义词库，支持热更新分词字典, IK Github地址
THULAC：THU Lexucal Analyzer fro chinese 清华大学自然语言处理和社会人文计算机实验室的一套中文分词器，THULAC Github地址