ElasticSearch笔记（2）索引、分词、DSL、聚合

最新推荐文章于 2024-07-06 16:49:54 发布
最新推荐文章于 2024-07-06 16:49:54 发布
阅读量894 收藏 3
点赞数
分类专栏： Elasticsearch 文章标签： 倒排索引 查询 Mapping 分词器 聚合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38060977/article/details/105643334
版权

一 倒排索引

1.1 什么是倒排索引

类似一些书籍后面的Index（一般以字母排序），
倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key
在这里插入图片描述
在这里插入图片描述

1.2 核心组成

单词词典（Term Dictionary）

记录所有文档的单词，记录单词到倒排列表的关联关系

倒排列表（Posting）

记录了单词对应的文档组合，由倒排索引项组成

倒排索引项

  • 文档ID
  • 词频TF-该单次在文档中出现的次数，用于相关性评分
  • 位置（position）单词在文档中分词的位置
  • 偏移（offset）该单词的开始结束位置，实现高亮显示

例子
展示ElasticSearch这个单词的倒排列表
在这里插入图片描述

1.3 倒排索引

  • 文档（json）的每个字段每个字段，都有自己的倒排索引
  • 可以对某些字段不做索引（在mapping中设置），这样这个字段就不可以被搜索

二 Analyzer-分词器

2.1 Analysis

文本分析。把全文本转换成一系列单词（token/term，这里的单词不是狭义上的英语单词）,这个过程也叫分词

通过分词器（analyzer）来实现，Elasticsearch内置了一些分词器，我们也可以使用一些别人写好的分词器插件，甚至自定义。

分词的时机

  1. 数据写入时
  2. 某些查询用法

2.2 组成

分词器时专门处理分词的组件，由三部分组成
在这里插入图片描述

Character Filters

针对原始文本处理，例如去除html

Tokenizer

按照实现的规则，切分语句为单词

Token Filter

将切分后的Term(单词)进行处理，比如小写、删除stopwords、增加同义词

2.3 内置分词器

在这里插入图片描述

2.4 analyzer API

GET /_analyze
{
  "analyzer": "standard",
  "text":"i like coding"
}


//输出
{
  "tokens" : [
    {
      "token" : "i",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "like",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "coding",
      "start_offset" : 7,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}

2.5 中文分词

GET /_analyze
{
  "analyzer": "standard",
  "text":"我喜欢旅游"
}

//输出
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "喜",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "欢",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "旅",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "游",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

默认分词器不太适合中文，没有分成我们中文中的词

ICU Analyzer

在这里插入图片描述

IK

安装步骤，基于前一篇的docker-compose

  1. 从github下载对应的ik插件（注意版本）
  2. 在宿主机上创建目录，解压
/test/plugins/ik
  1. 修改docker-compose.yaml。增加目录挂载
- ./plugins:/usr/share/elasticsearch/plugins
  1. 重启docker-compose

效果

GET /_analyze
{
  "analyzer": "ik_smart",
  "text":"我喜欢旅游"
}


//效果
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "喜欢",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "旅游",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

三 URI Search

3.1 相关性

在这里插入图片描述
在这里插入图片描述

3.2 指定索引查询

在这里插入图片描述

3.3 具体语法

因为考虑到实际中，几乎不会用URI search。所以省略…

"profile"可以查看查询是如何进行的

GET /ent_search/_search?q=county:海淀区
{
  "profile": "true"
}

四 请求体查询 & DSL

4.1 分页

GET ent_search/_search
{
  "from":0,//从0开始
  "size":10,//每页条数
  "query": {
    "match_all": {
      
    }
  }
}

获取后面页数的成本较高。特别是在分布式架构下。

4.2 排序

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match_all": {
      
    }
  },
  "sort": [
    {
      "reg_no": {
        "order": "desc"
      }
    }
  ]
}
  1. 最好在日期型或者数字型上字段排序

4.3 _source filtering

  • 只返回匹配的字段
  • 支持通配符
GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match_all": {
      
    }
  },
  "_source": ["ent_nam*","industryco"]
}

4.4 脚本字段

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match_all": {
      
    }
  },
  "script_fields": {
    "nameplus": {
      "script": {
        "lang": "painless",
        "source": "doc['industryco'].value"
      }
    }
  }, 
  "_source": ["ent_name","industryco"]
}

或
GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match_all": {
      
    }
  },
  "script_fields": {
    "nameplus": {
      "script": {
        "lang": "painless",
        "source": "params['_source']['ent_name']+'测试'"
      }
    }
  }, 
  "_source": ["ent_name","industryco"]
}

了解doc['my_field'].value和params ['_ source'] ['my_field']之间的区别很重要。第一使用doc关键字将导致该字段的术语被加载到内存（缓存），这将导致更快的执行，但是更多的内存消耗。此外，doc […]符号只允许简单的有值的字段（不能从中返回一个json对象），并且只对非分析或单个术语的字段有意义。但是，使用doc仍然是从文档访问值的推荐方法，如果可能的话，因为_source必须在每次使用时被加载和解析。使用_source是非常慢的。

4.5 查询表达式match

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match": {
        "ent_name": {
          "query": "小米",
          "operator": "and"
        }
      
    }
  },
  
  "_source": ["ent_name","industryco"]
}

operator表示分词后，这些单词是or匹配还是and匹配

4.6 短语搜索-Match Phrase

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "match_phrase": {
        "ent_name": {
          "query": "小米",
          "slop":1//可以支持近似匹配
        }
      
    }
  },
  
  "_source": ["ent_name","industryco"]
}

查询语句分词后的单词全部出现在返回记录的字段中，并且出现顺序一致

4.7 query_string

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "query_string": {
       "default_field": "ent_name",
       "query":"小米"
      
    }
  },
  
  "_source": ["ent_name","industryco"]
}

GET ent_search/_search
{
  "from":0,
  "size":10,
  "query": {
    "query_string": {
       "fields": ["ent_name","address"],
       "query":"小米"
      
    }
  }
}
  • 支持多字段查询
  • 类似match_phrase，但对顺序没要求

支持布尔操作
在这里插入图片描述
在这里插入图片描述

4.8 Simple Query String

POST users/_search
{
  "query": {
    "simple_query_string": {
      "query": "trying out i",
      "fields": ["message"],
      "default_operator": "AND"
    }
  }
}

在这里插入图片描述

4.9 更多用法

上面只记录了部分用法，更多可以参考官网。或者后续文章。

五 Mapping

Mapping类似数据库中schema的定义，作用

  1. 定义索引中的字段的名称
  2. 定义字段的数据类型，例如字符串、数字、布尔…
  3. 字段、倒排索引的相关配置（Analyzed或者Not Analyzed，Analyzer分词器）

Mapping会把Json文档映射成Lucene所需要的扁平格式

关于type

  1. 每个文档都属于一个type
  2. 一个type有一个mapping定义（一个mapping中只能有一个type）
  3. 从7.0开始，不需要再mapping中指定type信息

5.1 数据类型

简单类型

  • Text/Keyword
  • Date
  • Integer/Floating
  • Boolean
  • IPV4/6

复杂类型-对象和嵌套类型

特殊类型

  • geo_point & geo_shape/percolator

5.2 Dynamic Mapping

在写入文档时，如果索引不存在，则会主动创建索引（定义了一个mapping）

因为Mapping是ES主动根据文档信息推算的，所以有时候会不准确。

自动识别规则
在这里插入图片描述

5.3 关于Mapping的修改

新增字段

  • 如果mapping的Dynamic设为true，一旦有新增字段写入。Mapping就会更新
  • Dynamic设为false，mapping不会更新。新增字段无法被索引，但会出现在_source中
  • Dynamic设为strict，文档会写入失败

对已有字段

一旦该字段已经有数据写入，就不允许修改

如果希望改变字段类型，则必须Reindex API,重建索引

原因

  • 如果修改字段的数据类型，会导致已被索引的属于无法被搜索
  • 如果是新增字段，则不会有影响（之前还没索引）

Dynamic值

在这里插入图片描述
为false时，即新增字段会被存入es中的文档。但es不会为新增字段增加倒排索引

5.4 手动定义Mapping

建议手动定义Mapping，可以更加精准地控制

  • Index属性。控制当前字段是否被索引，默认为true。如果为false，则不能被搜索
  • Index Options 控制倒排索引地内容
    在这里插入图片描述
  • null_value.只有keyword类型支持
  • copy_to(就是将多个字段合并成一个查询字段)
    在这里插入图片描述

5.5 数组类型

ES中不提供专门的数组类型。但是任何字段，都可以包含多个相同类型的数值
在这里插入图片描述

5.6 多字段特性

在这里插入图片描述

5.7 Index template

帮助设定Mappings和Settings，并按照一定的规则，自动匹配到新创建的索引上

  • 模板只会在一个索引被新创建时，才会产生作用。修改模板不会影响已创建的索引
  • 可以设置多个索引模板，这些设置会merge在一起
  • 你可以指定order的数值，控制merging的过程

在这里插入图片描述

工作方式

在这里插入图片描述

5.8 Dynamic Template

根据ElasticSearch识别的数据类型，结合字段名称，来动态设定字段类型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六 聚合

6.1 什么是聚合

在这里插入图片描述

在这里插入图片描述

6.2 集合的类型

ES会对结果集进行分桶（类似数据库中的group by）
在这里插入图片描述
在这里插入图片描述

Bucket

在这里插入图片描述

Metric

在这里插入图片描述

例子

在这里插入图片描述
在这里插入图片描述
如(注意！这里terms和第二个aggs是同一个对象的两个属性，这表示是同一组group和avg关系)：

GET ent_search/_search
{
    "from": 0,
    "size": 0,
    "aggs": {
        "county_group": {
            "terms": {
                "field": "county",
                "size":1//控制返回几个分组（按数量从多到少），默认10
            },
            "aggs": {
                "avg_price": {
                    "avg": {
                        "field": "reg_cap"
                    }
                }
            }
        }
    }
}


//效果
"buckets" : [
        {
          "key" : "海淀区",
          "doc_count" : 6754,
          "avg_price" : {
            "value" : 6290.3363345432335
          }
        },
        {
          "key" : "朝阳区",
          "doc_count" : 5218,
          "avg_price" : {
            "value" : 5923.739484373515
          }
        },
        ...

在这里插入图片描述

如

GET ent_search/_search
{
    "from": 0,
    "size": 0,
    "aggs": {
        "county_group": {
            "terms": {
                "field": "county"
            },
            "aggs": {
                "avg_price": {
                    "avg": {
                        "field": "reg_cap"
                    }
                },
                "industryco_name_group":{
                  "terms": {
                    "field": "industryco_name"
                  }
                }
            }
        }
    }
}

//效果
"buckets" : [
        {//先按区县统计
          "key" : "海淀区",
          "doc_count" : 6754,
          "industryco_name_group" : {
            "doc_count_error_upper_bound" : 15,
            "sum_other_doc_count" : 826,
            "buckets" : [//里面又按行业统计
              {
                "key" : "其他科技推广服务业",
                "doc_count" : 4046
              },
              {
                "key" : "其他技术推广服务",
                "doc_count" : 648
              },

参考

ycCoding
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案
CYK_byte的博客
09-26 2838
你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.
Elasticsearch Query DSL查询入门
ops-coffee
05-17 2060
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤 Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标...
ElasticSearch的DSL语句-分词器操作 大全
session_t的博客
08-21 1115
ElasticSearch的DSL语句-分词器操作 大全
探究 | ES倒排索引和分词
devilzcl的博客
07-04 875
兄弟萌，相信大家在学习 Elasticsearch 都听说过倒排索引吧，下面我们尝试用最简单易懂的方式来讲讲 ES 中的倒排索引和分词。 倒排索引建立的是单词和文档 id 的关联关系，建立倒排索引时，首先从文档中拆分出词条，这个过程就是 “分词”。 1.倒排索引 1.1 什么是倒排索引？ 我们要搞懂倒排索引，首先来看看什么是正排（正向）索引？ 我们知道通过文章 id 可以快速查找到文章内容，之所以检索比较快是因为文章 id 设置为主键，同时生成了主键索引，然后通过主键索引快速关联到存储信息，这种索引就
【微服务】第28节： ElasticSearch的DSL查询
最新发布
m0_46013789的博客
07-06 857
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。
全文检索与Elasticsearch(二)——DSL查询进阶，分词器，springboot整合ES，DSL分页，MySQL到ES数据同步，集群
菜鸟的博客
09-11 1056
DSL查询进阶 match查询 match 类似模糊匹配，match知道分词器的存在，会根据查询条件进行分词操作，然后再查询， GET 索引名/_search { "query":{ "match":{ "FIELD":"text" } } } match_all 查询所有文档 GET 索引名/_search { "query":{ "match_all":{} } } 等同于 GET 索引名/_search multi_match 可以指定多个字段进行查询，同一查询文本在多个
Elasticsearch安装IK分词器，kibana安装是基本使用，DSL语句入门
cpongo11的博客
03-02 435
文章目录 1. 安装IK分词器 ElasticSearch 默认采用的分词器， 是单个字分词 ，效果很差 ，我们需要安装一个更实用的分词器，这里采用 IK分词器 中文分词器 IK Analyzer 3.0 发布 jar包下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases 源码下载地址：https://github.com/medcl/elasticsearch-analysis-ik/tree 这里用 ZIP 格式下载 I.
Elasticsearch Query DSL 整理总结（二）—— 要搞懂 Match Query，看这篇就够了
dianqiulai2465的博客
11-23 715
目录 引言 构建示例 match operator 参数 analyzer lenient 参数 Fuzziness fuzzniess 参数 什么是模糊搜索？ Levens...
Python Elasticsearch DSL 查询、过滤、聚合操作实例
2401_84003630的博客
04-07 730
Python Elasticsearch DSL 使用简介连接 Es：import elasticsearches = elasticsearch.Elasticsearch([{‘host’: ‘127.0.0.1’, ‘port’: 9200}])先看一下搜索， 是指搜索内容，空格对 查询结果没有影响， 指定个数， 指定起始位置， 可以指定需要显示的数据，如本例中显示在最后的结果中的只有 和 。res_3 = es.search(index=“bank”, q=“Holmes”, size=1, f
ElasticSearch个人笔记【深入浅出，非常完整】.zip
05-21
Elasticsearch（ES）是一种基于Lucene的分布式、RESTful搜索和分析引擎，广泛应用于日志分析、全文检索、监控等多个领域。这份个人笔记详细深入地介绍了Elasticsearch的核心概念和使用方法，旨在帮助读者全面理解和...
Elastic Search之Source Filtering(过滤结果中"_source"原始文本显示哪些字段)
分享传递价值
01-15 9237
之前在 elastic search之索引和文档 一文中简单说到过，查询语句返回的json中的"_source"字段就是文档的全部原始json数据，里面包含每个字段及内容，但有时候我们可能不需要这么多字段，也可能只需要其中的某几个字段，并且返回全部字段有时也浪费，这个时候通过"_source"参数便可以设置需要返回哪些具体的字段，甚至是不需要返回，我们可以类比mysql的select特定字段，而不...
理解Es的DSL语法（二）：聚合
糖拌西红柿
06-12 1205
es的聚合语法、aggs，date_histogram聚合
es——DSL实现聚合
LINING_GG的博客
12-11 634
es——DSL实现聚合
【ES】数据聚合&自动补全
Eumenides_Suki的博客
04-09 923
默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。character filters：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smarttokenizer filter：将tokenizer输出的词条做进一步处理。
ES的Query的DSL语法&Filter DSL&聚合分析
weixin_42243889的博客
04-10 3136
1 查询所有(match_all query) GET /lagou-company-index/_search { “query”:{ “match_all”: {} } } query ：代表查询对象 match_all ：代表查询所有 结果 took：查询花费时间，单位是毫秒 time_out：是否超时 _shards：分片信息 hits：搜索结果总览对象 total：搜索到的总条数 max_score：所有结果中文档得分的最高分 hits：搜索结果的文档对象数组，每个元素是一条搜索到的文档信息 _i
ElasticSearch分词器使用及索引操作
天天发梦的梦想哥
11-19 2052
一、分词器 ES内置默认分词器 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-njsIzbN3-1605747836722)(en-resource://database/579:1)] ElasticSearch 核心功能就是数据检索，首先通过索引将文档写入 es。查询分析则主要分为两个步骤： 词条化：分词器将输入的文本转为一个一个的词条流。 过滤：比如停用词过滤器会从词条中去除不相干的词条（的，嗯，啊，呢）；另外还有同义词过滤器、小写过滤器等。 ES中文分词器 安装
ElasticSearch 倒排索引、分词
hebeind100的博客
11-04 548
es使用称为倒排索引的结构达到快速全文搜索的目的。   一个倒排索引包含一系列不同的单词，这些单词出现在任何一个文档， 对于每个单词，对应着所有它出现的文档。   比如说，我们有2个文档，每个文档有一个conteng字段。 内容如下： “ The quick brown fox jumped over the lazy dog” “ Quick brown foxes leap...
Elasticsearch 索引分词器
程序员学习圈
02-28 1268
1. 认识分词器 1.1 Analyzer分析器 在ES中一个Analyzer 由下面三种组件组合而成： • character filter ：字符过滤器，对文本进行字符过滤处理，如处理文本中的html标签字符。处理完后再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器，多个按配置顺序依次进行处理。 • tokenizer：分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值