Elasticsearch笔记3 基础入门

最新推荐文章于 2024-05-06 17:23:12 发布
最新推荐文章于 2024-05-06 17:23:12 发布
阅读量134 收藏
点赞数 1
分类专栏： Elasticsearch 文章标签： es elasticsearch 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a85820069/article/details/114990798
版权

映射和分析

精确值VS全文

  • 精确值查询： 判断值与检索条件是匹配还是不匹配的关系。
  • 全文： 判断值与检索条件是否匹配，匹配度是多少的关系。

倒排索引

一个倒排索引由文档中所有的不重复词的列表构成，对于其中每个词，有一个包含他的文档。

词条文档1文档2文档3
北京101
上海111
广州001
重庆011

实例搜索北京，文档1和文档2将被返回。

分析与分析器

分析过程

  • 首先，将文档分成适合与倒排索引的独立词条。
  • 之后，将这些词条按照标准规则进行转化，用于提高检索率。

分词器的功能

  • 字符过滤器
    • 不同的字符过滤器规则不同，比如去除各种符号。
  • 分词器
    • 不同的分词器拆分规则不同，比如遇到空格就拆分。
  • token过滤器
    • 不同的token过滤器规则不同，比如统一小写化，近义词转换等等。

ES支持自定义分词器

内置分词器

  • 标准分词器
  • 简单分词器
  • 空格分词器
  • 语言分析器

分词器的使用点

  • 进行全文检索时，先经过分词器对条件做标准处理。
  • 进行精确值检索时，不会进行分词器标准处理。

测试分词器

GET /_analyze
{
  "analyzer": "standard",
  "text": "Text to analyze"
}

结果中每个元素代表一个单独的词条：

{
   "tokens": [
      {
         "token":        "text",
         "start_offset": 0,
         "end_offset":   4,
         "type":         "<ALPHANUM>",
         "position":     1
      },
      {
         "token":        "to",
         "start_offset": 5,
         "end_offset":   7,
         "type":         "<ALPHANUM>",
         "position":     2
      },
      {
         "token":        "analyze",
         "start_offset": 8,
         "end_offset":   15,
         "type":         "<ALPHANUM>",
         "position":     3
      }
   ]
}

指定分词器

在建立映射的时候。

映射

映射不可更改，可以任意增加。

核心简单类型

  • 字符串 string
  • 整数 byte,short,integer,long
  • 浮点型 folat,double
  • 布尔型 true,false
  • 日期 date

动态映射

当未创建映射时，ES会根据值格式推断类型。

查看映射

GET /gb/_mapping/tweet

{
   "gb": {
      "mappings": {
         "tweet": {
            "properties": {
               "date": {
                  "type": "date",
                  "format": "strict_date_optional_time||epoch_millis"
               },
               "name": {
                  "type": "string"
               },
               "tweet": {
                  "type": "string"
               },
               "user_id": {
                  "type": "long"
               }
            }
         }
      }
   }
}

自定义索引

  • 全文字符串域和精确值字符串域的区别
  • 使用特定语言分析器
  • 优化域以适应部分匹配
  • 指定自定义数据格式
  • 还有更多

暂时不用 略

测试映射

GET /gb/_mapping/tweet

以下内容带规整

复杂核心类型

JSON.NULL,对象，数组

多值域（数组）

数组内元素类型要求一致

{ "tag": [ "search", "nosql" ]}

空域（NULL）

空域不能被索引

多层级对象（嵌套Object）

{
  "gb": {
    "tweet": { 
      "properties": {
        "tweet":            { "type": "string" },
        "user": { 
          "type":             "object",
          "properties": {
            "id":           { "type": "string" },
            "gender":       { "type": "string" },
            "age":          { "type": "long"   },
            "name":   { 
              "type":         "object",
              "properties": {
                "full":     { "type": "string" },
                "first":    { "type": "string" },
                "last":     { "type": "string" }
              }
            }
          }
        }
      }
    }
  }
}

内部管理方式

{
    "tweet":            [elasticsearch, flexible, very],
    "user.id":          [@johnsmith],
    "user.gender":      [male],
    "user.age":         [26],
    "user.name.full":   [john, smith],
    "user.name.first":  [john],
    "user.name.last":   [smith]
}

对象数组

{
    "followers": [
        { "age": 35, "name": "Mary White"},
        { "age": 26, "name": "Alex Jones"},
        { "age": 19, "name": "Lisa Smith"}
    ]
}

{
    "followers.age":    [19, 26, 35],
    "followers.name":   [alex, jones, lisa, smith, mary, white]
}

文档中35岁的Mary对象，被索引年龄和索引姓名分别记录，破坏了相关性

请求体查询

GET请求带BODY体，可能被一些服务器拒绝。可以把GET改成POST，效果一样。

空查询

GET /_search
{}

查询表达式

GET /_search
{
    "query": YOUR_QUERY_HERE
}

查询语句的结构

{
    QUERY_NAME: {
        ARGUMENT: VALUE,
        ARGUMENT: VALUE,...
    }
}

实例

GET /_search
{
    "query": {
        "match": {
            "tweet": "elasticsearch"
        }
    }
}

合并查询语句的结构

查询语句就像一些简单的组合块，这些组合块可以彼此之间合并组成更复杂的查询。

  • 叶子语句 被执行的检索条件
  • 复合语句 用于关联各检索条件之间关系的部分
    • must 匹配
    • must_not 不匹配
    • should 或者匹配
    • filters 不评分过滤器
{
    "bool": {
        "must":     { "match": { "tweet": "elasticsearch" }},
        "must_not": { "match": { "name":  "mary" }},
        "should":   { "match": { "tweet": "full text" }},
        "filter":   { "range": { "age" : { "gt" : 30 }} }
    }
}

{
    "bool": {
        "must": { "match":   { "email": "business opportunity" }},
        "should": [
            { "match":       { "starred": true }},
            { "bool": {
                "must":      { "match": { "folder": "inbox" }},
                "must_not":  { "match": { "spam": true }}
            }}
        ],
        "minimum_should_match": 1
    }
}

查询与过滤

Elasticsearch 使用的查询语言（DSL）拥有一套查询组件，这些组件可以以无限组合的方式进行搭配。这套组件可以在以下两种情况下使用：过滤情况（filtering context）和查询情况（query context）。

  • 当DSL用于过滤情况时，查询被设置成一个“不评分”或者“过滤”的查询。
    这个查询只是简单的问是否匹配，结果得到是或者否
  • 当DSL用于查询情况时，查询呗设置成一个“评分”的查询。
    这个查询不只是简单的问是否匹配，还要计算匹配度。

性能

不评分查询性能高于评分查询

最重要的查询(查询单元)

  • match_all
    匹配所有
  • match
    是否匹配，支持精准和全文查询。
  • multi_match
    一种match的简写，可以将同一条件指定给多个字段
  • range
    范围匹配，支持数字和时间类型。gt 大于 gte 大于等于 lt小于 lte 小于等于
  • term
    是否匹配，仅用于精准匹配。
  • terms
    一种merm的简写，可以将同一条件指定给多个字段
  • exists和missing
    查询被用于查找那些指定字段中有值 (exists) 或无值 (missing) 的文档

组合多查询（组合查询单元）

将查询单元按规则组装

  • must
    文档 必须 匹配这些条件才能被包含进来。
  • must_not
    文档 必须 匹配这些条件才能被包含进来。
  • should
    如果满足这些语句中的任意语句，将增加 _score ，否则，无任何影响。它们主要用于修正每个文档的相关性得分。
  • filters
    必须 匹配，但它以不评分、过滤模式来进行。这些语句对评分没有贡献，只是根据过滤标准来排除或包含文档。

各种复杂组合格式参考示例

{
    "bool": {
        "must":     { "match": { "title": "how to make millions" }},
        "must_not": { "match": { "tag":   "spam" }},
        "should": [
            { "match": { "tag": "starred" }},
            { "range": { "date": { "gte": "2014-01-01" }}}
        ]
    }
}

{
    "bool": {
        "must":     { "match": { "title": "how to make millions" }},
        "must_not": { "match": { "tag":   "spam" }},
        "should": [
            { "match": { "tag": "starred" }}
        ],
        "filter": {
          "range": { "date": { "gte": "2014-01-01" }} 
        }
    }
}

{
    "bool": {
        "must":     { "match": { "title": "how to make millions" }},
        "must_not": { "match": { "tag":   "spam" }},
        "should": [
            { "match": { "tag": "starred" }}
        ],
        "filter": {
          "bool": { 
              "must": [
                  { "range": { "date": { "gte": "2014-01-01" }}},
                  { "range": { "price": { "lte": 29.99 }}}
              ],
              "must_not": [
                  { "term": { "category": "ebooks" }}
              ]
          }
        }
    }
}

constant_score

只有过滤的查询语句格式

{
    "constant_score":   {
        "filter": {
            "term": { "category": "ebooks" } 
        }
    }
}

验证查询

验证查询语句是否合法

GET /gb/tweet/_validate/query
{
   "query": {
      "tweet" : {
         "match" : "really powerful"
      }
   }
}

理解错误信息

添加?explain参数，显示错误信息

GET /gb/tweet/_validate/query?explain 
{
   "query": {
      "tweet" : {
         "match" : "really powerful"
      }
   }
}

{
  "valid" :     false,
  "_shards" :   { ... },
  "explanations" : [ {
    "index" :   "gb",
    "valid" :   false,
    "error" :   "org.elasticsearch.index.query.QueryParsingException:
                 [gb] No query registered for [tweet]"
  } ]
}

解读查询语句

添加?explain参数，显示错误信息

GET /gb/tweet/_validate/query?explain 
{
   "query": {
      "tweet" : {
         "match" : "really powerful"
      }
   }
}

{
  "valid" :         true,
  "_shards" :       { ... },
  "explanations" : [ {
    "index" :       "us",
    "valid" :       true,
    "explanation" : "tweet:really tweet:powerful"
  }, {
    "index" :       "gb",
    "valid" :       true,
    "explanation" : "tweet:realli tweet:power"
  } ]
}

排序与相关性

默认排序

默认情况下ES采用相关性降序排序，相关性采用浮点型记录，通过_sorce字段展示。
当指定特定字段进行排序，则_sorce为空，并且不会进行相关性计算（算了没有用处）。

多级排序

GET /_search
{
    "query" : {
        "bool" : {
            "must":   { "match": { "tweet": "manage text search" }},
            "filter" : { "term" : { "user_id" : 2 }}
        }
    },
    "sort": [
        { "date":   { "order": "desc" }},
        { "_score": { "order": "desc" }}
    ]
}

多值字段排序

先根据指定的排序模式对数组内部进行排序，在用结果值参与整体排序。
数字或时间类型的多值字段，可选以下模式进行内部排序

  • min（默认）
  • max
  • avg
  • sum
  • 等等
"sort": {
    "dates": {
        "order": "asc",
        "mode":  "min"
    }
}

一个字段配置多种索引类型（虚拟字段）

当字符串类型采用全文索引的情况下，不能再进行精准查询，通过配置虚拟字段来解决。
虚拟字段不会存两份原数据，而是存两份索引结果。
所有的 _core_field 类型 (strings, numbers, Booleans, dates) 接收一个 fields 参数，该参数允许你转化一个简单的映射如：
原始

"tweet": {
    "type":     "string",
    "analyzer": "english"
}

虚拟字段

"tweet": { 
    "type":     "string",
    "analyzer": "english",
    "fields": {
        "raw": { 
            "type":  "string",
            "index": "not_analyzed"
        }
    }
}

此时支持tweet全文检索，也支持tweet.raw精准查询

相关性

词频（DF）

定义：一词语出现的次数除以总词语数。
实例
假设一篇文档总共100个词语，JAVA词语出现了10次。则频率=10%(10/100)

文档频率

定义：包含一词语的文件数除以文件总数
实例
假设共有10000份分档，包含JAVA词语的有100份。则文件频率=1%（100/10000）

逆文档频率（反向文档频率）（IDF）

定义：词频/文件频率
实例
逆文档频率=10（0.1/0.01）

字段长度准则

假设一个词语长度为2，出现在一个长度100的长语句中。
假设一个词语长度为2，出现在一个长度10的段语句中。
则认为 第二项的准确度比第一项的高

理解评分标准

通过添加explain参数，在返回的每个文档后追加评分依据信息。

GET /_search?explain 
{
   "query"   : { "match" : { "tweet" : "honeymoon" }}
}

正常内容

{
    "_index" :      "us",
    "_type" :       "tweet",
    "_id" :         "12",
    "_score" :      0.076713204,
    "_source" :     { ... trimmed ... },

展示文档来源，节点和分片。词频率和文档频率是在分片中计算的。

"_shard" :      1,
"_node" :       "mzIVYCsqSWCG_M_ZffSs9Q",

_explanation部分展示了所有细节。
例如相关性评分总结，检索词频率，反向文档频率，字段长度频率等

"_explanation": { 
   "description": "weight(tweet:honeymoon in 0)
                  [PerFieldSimilarity], result of:",
   "value":       0.076713204,
   "details": [
      {
         "description": "fieldWeight in 0, product of:",
         "value":       0.076713204,
         "details": [
            {  
               "description": "tf(freq=1.0), with freq of:",
               "value":       1,
               "details": [
                  {
                     "description": "termFreq=1.0",
                     "value":       1
                  }
               ]
            },
            { 
               "description": "idf(docFreq=1, maxDocs=1)",
               "value":       0.30685282
            },
            { 
               "description": "fieldNorm(doc=0)",
               "value":        0.25,
            }
         ]
      }
   ]
}

理解某文档是如何匹配到的，或者如何被排除掉的

GET /us/tweet/12/_explain
{
   "query" : {
      "bool" : {
         "filter" : { "term" :  { "user_id" : 2           }},
         "must" :  { "match" : { "tweet" :   "honeymoon" }}
      }
   }
}

Doc values

Doc Values 是在索引时与 倒排索引 同时生成。
Doc Values 和 倒排索引 都是经过分词器处理后保存的，所以不可变更。

倒排索引结构

词条文档1文档2文档3
北京101
上海111
广州001
重庆011

Doc Values结构

文档词条
文档1北京，上海
文档2上海，重庆
文档3北京，上海，广州，重庆

Doc Values的持久化与压缩

Doc Values保存在磁盘上，并且是压缩保存的。因为cpu性能远高于磁盘。

Doc Values应用场景

  • 对一个字段进行排序
  • 对一个字段进行聚合
  • 某些过滤，比如地理位置过滤
  • 某些与字段相关的脚本计算

举例

假设计算两个文档的交集，不适合用倒排索引计算，而Doc Values更适合。

文章中部分内容来源于：
Elasticsearch: The Definitive Guide by Clinton Gormley and Zachary Tong (O’Reilly). Copyright 2015 Elasticsearch BV, 978-1-449-35854-9。

我是xxxx
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
Elasticsearch笔记1 基础入门
我是xxxx
03-16 185
Elasticsearch笔记 基础入门 概念 ES是一个实时的分布式搜索分析引擎，它被用作全文检索，结构化检索，分析以及这三个功能的组合； 集群内的原理 集群 一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 选举模式 集群通过选举模式推选出主节点。 主节点 主节点负责管理集群范围内的所有变更。比如新增，删除索引，新
Elasticsearch学习笔记
热门推荐
KISS
04-15 25万+
- - - - 第1章 Elasticsearch概述 - 01-开篇 02-技术选型 03-教学大纲 - 第2章 Elasticsearch入门 - 04-入门-环境准备 05-入门-RESTful & JSON 06-入门-Postman客户端工具 07-入门-倒排索引 08-入门-HTTP-索引-创建 09-入门-HTTP-索引-查询 & 删除 10-入门-HTTP-文档-创建（Put & Post） 11-入门-HTTP-查询-主键查询 &...
【ES学习笔记】Elasticsearch7基础入门
foxofwind的博客
06-25 1035
一，Elasticsearch7.13安装 官网https://www.elastic.co/cn/downloads/elasticsearch 选windows版 很简单，下载，解压，运行bin目录下elasticsearch.bat 启动之后用浏览器访问http://localhost:9200/，返回如下内容说明安装成功了。 { "name" : "my_node", "cluster_name" : "elasticsearch", "cluster_uuid" ...
ElasticSearch详细笔记（ 从入门到入土）
GOV_D的博客
04-18 3223
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1.ElasticSearch概述1.1 Elasticsearch 是什么1.2 全文搜索引擎1.3 Elasticsearch And Solr2. ElasticSearch安装2.1 下载和安装2.2 可能存在的问题2.3 RESTful3. ES的基本使用3.1 数据格式3.2 分片概念3.3 索引操作（1）创建索引（2） 查看所有索引（3） 查看单个索引（4） 删除索引3.4 文档操作（1）创建文档（2） 查.
ElasticSearch入门到上手学习笔记
qq_50595984的博客
11-02 185
Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，本身扩展性很好可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。据国际权威的数据库产品评测机构DB Engines的统计，在2016年1月，ElasticSearch已超过Solr等，成为排名第一的搜索引擎类应用。
ElasticSearch入门笔记整理.xmind
04-03
ElasticSearch入门笔记整理.xmind
Elasticsearch入门学习笔记
06-28
Elasticsearch入门学习笔记，适用于未学过Elasticsearch的人群，其中有些内容也是参考官方文档。
elasticsearch基础知识，从小白到入门
02-01
elasticsearch基础知识，从小白到入门 该资源仅供学习！！！ 该资源仅供学习！！！ 该资源仅供学习！！！ 该资源仅供学习！！！ 该资源仅供学习！！！
ElasticSearch学习笔记八（搜索入门）数据脚本
01-16
ElasticSearch学习笔记八（搜索入门）数据脚本
Elasticsearch中【文档查询】DSL语句以及对应的Java实现
m0_69594200的博客
04-29 754
Elasticsearch提供了基于JSON的DSL（）来定义查询。：查询出所有数据，一般测试用。例如：match_all：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：idsrangeterm：根据经纬度查询。例如：：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：bool。
lint 代码规范，手动修复，以及vscode的第三方插件eslint自动修复
小十七的个人分享博客
05-06 510
不是语法规范，是一种书写风格，加多少空格，缩进多少，加不加分号，类似于书信的写作格式ESLint:是一个代码检查工具，用来检查你的代码是否符合指定的规则(你和你的团队可以自行约定一套规则)。在创建项目时，我们使用的是代码风格的规则，目前Standard的代码风格用的比较多建议把Standard代码规范看一遍，然后在写的时候, 遇到错误就查询解决。
ES数据存储与查询基本原理
Steve Wang's blog
05-02 1131
ES简介、ES核心概念、ES读写原理
【翻译】Elasticsearch-索引模块
qq_49444793的博客
04-30 1041
索引块限制对指定的索引的可用的操作类型（就是指对该索引能进行什么操作）。这些块有不同的风格，可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除，也可以通过专用API添加，这也可以确保写入块一旦成功返回用户，所有索引分片都能正确地计算该块，例如，在添加写块后，所有对索引进行中的写入会完成。
ES：基础查询语法（简单易懂）
qq_64680177的博客
05-06 384
query子句：类似于mysql中的where语句，用于定义搜索条件，如等值查询、模糊查询、范围查询等（重点） aggs字句：用于对搜索结果进行各种统计和分组。类似于mysql中的group by。例如可以计算某一字段不同值各自出现的次数，或者根据某个字段的值进行分组。 sort子句：这个就非常显而易见了，是对查询出来的结果进行根据某一规则进行排序。 from和size：这两个是配合使用的，是用来分页的。from定义的是展示的第一条数据的处于结果集的位置（也就是下标），size表示此次展示多大的结果集。这个
深入解析 `org.elasticsearch.action.search.SearchRequest` 类
一起coding，一起嗨。
04-30 880
深入解析 `org.elasticsearch.action.search.SearchRequest` 类
ElasticSearch 与 OpenSearch:拉开性能差距
大数据杂货铺的博客
05-06 445
虽然 Rally 是由 Elastic 开发的，主要是为了对 Elasticsearch 进行基准测试而设计的，但它是一个灵活的工具，可以适应与 OpenSearch 一起使用。使用默认的开箱即用设置，Elasticsearch 使用的磁盘空间减少了 37%，并且当在两者上使用 _best_compression_（用于此基准测试的编解码器）时，Elasticsearch 的空间效率仍然提高了 13%。他们的验证重申了我们比较的稳健性和可靠性，使您能够根据我们的基准测试结果做出明智的决定。
Elasticsearch 索引 blocks：深入探讨数据保护
Elastic 中国社区官方博客
04-29 1216
Elasticsearch 作为搜索和分析数据的首选分布式引擎在技术领域脱颖而出，尤其是在处理日志、事件和综合文本搜索时。它的与众不同之处在于它如何让你使用各种块选项调整对其索引的访问。这对于那些负责技术项目的人（比如管理员和编码员）来说非常方便，他们需要保持数据可靠、管理资源或遵守严格的安全规则。通常，我们必须停止对索引设置的任何调整。诀窍是依靠 Elasticsearch 的块设置，更准确地说，依靠 blocks.metadata 设置。
【elasticsearch】慢查询替代查询审计的尝试
最新发布
shen12138的博客
05-06 132
使用了es有两年了，突然发现一个，es没有查询审计日志，某个用户查询了某个索引的审计。找了官方文档和社区的回复都是说使用slow log替代慢查询。尝试一下。参考链接1：https://discuss.elastic.co/t/does-elasticsearch-capture-audit-logs-for-query-dsl-eql-and-sql-or-not/339398/8。
elasticsearch笔记
10-16
好的，关于elasticsearch的笔记，我可以提供以下内容： Elasticsearch是一个基于Lucene的搜索引擎，它提供了分布式、多租户的全文搜索引擎，具有高可用性、可扩展性和实时搜索等特点。它可以用于各种类型的应用程序...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值